groq 上 oss20b 近 6000token 每秒的输出速度
已经是量变引起质变了
快了将近 100 倍
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 308 days ago, the information mentioned may be changed or developed.
 |
1
iwdmb Aug 6, 2025
|
|
2
iwdmb Aug 6, 2025
https://gpt-oss.com/
官方测试渠道 |
 |
3
YsHaNg Aug 6, 2025
可能要 hopper 以上更新架构的加速器 垃圾佬平台不如 qwen3:30b 上下文预分配内存以及 offload 效率很低
|
 |
5
jianyang Aug 7, 2025
gpt-oss 120b 推理加结果，token 吐字快到离谱
|
 |
6
xieqiqiang00 OP groq 我还看到有超过一万 token 每秒的
|
|
7
xieqiqiang00 OP 120b 的版本在英伟达官方的数据里甚至能跑到 2 万 token 每秒每卡
|
Select Language