wwhc's recent timeline updates wwhc's recent timeline updates ONLINE |
wwhcV2EX member #145809, joined on 2015-11-05 06:54:06 +08:00Today's activity rank 3795 |
| Taalas 推出首款专用 ASIC 加速卡 声称实现亚毫秒级推理 分享发现 • wwhc • Feb 23 • Lastly replied by 7gugu | 2 |
| Marie Fredriksson 去世了，流行音乐黄金时代的代表乐队 Roxette 不复存在 音乐 • wwhc • Dec 12, 2019 • Lastly replied by KentY | 4 |
| 寻求中国境内网站开发合作伙伴 外包 • wwhc • May 1, 2018 • Lastly replied by bingod | 4 |
wwhc's recent replies
4 days ago Replied to a topic by SilenceLL › 硬件 › 站里没人看老黄的新电脑吗 |
如果不提供对 Linux 的良好支持 这个体系在 AI 领域并不具备竞争性
5 days ago Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
RX9070 对标 Nvidia Titan V 的 AI 推理性能
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
llama.cpp 的优化参数也很多，绝对性能目前可能仍不及 vllm 强，但可用性、易用性、可调性及部署能力都远强于 vllm
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
7900xtx 在 llama.cpp 下支持良好，推理时的预填充速度可能只比 4060ti 稍强，但 token 生成速度与 3090ti 相差不大
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
除非你是在为大公司或企业开发 AI 推理系统，建议使用 llama.cpp ，这是目前最好的 AI 推理框架
May 20 Replied to a topic by cwcc › AI Agent 智能体 › 如果为了本地大模型，卖掉 MacBook Pro M3 Pro 36G，买Μ5 Max 128G，合适吗？ |
重度运行本地大模型的 Mac 要选用 M? Ultra ，即使是 M1 Ultra ，也强于任何世代的 Max 型号
Apr 27 Replied to a topic by junwind › 程序员 › glm5.1， kimi2.6， minimax2.7， mimo v2.5， deepseek v4，编程能力上的排名如何？ |
Apr 27 Replied to a topic by junwind › 程序员 › glm5.1， kimi2.6， minimax2.7， mimo v2.5， deepseek v4，编程能力上的排名如何？ |
楼主的测试有偏差，本地部署的 Qwen3.6 27B/35B 使用楼主的提示词都能生成达到楼主图中 GLM 的水准的代码渲染，本地部署的 gpt-oss 120B 倒真是惨不忍睹，生成的的代码渲染出的页面没法看
Apr 4 Replied to a topic by unt › Local LLM › Gemma 4 31B 大概什么水平，本地部署是不是又成为现实了 |
差一点就能赶上 Qwen3.5 了
Select Language