nrtEBH

V2EX 第 456405 号会员，加入于 2019-11-30 09:49:33 +08:00

nrtEBH 提问技术话题好玩工作信息交易信息城市相关

根据 nrtEBH 的设置，主题列表被隐藏

二手交易相关的信息，包括已关闭的交易，不会被隐藏

nrtEBH 最近回复了

3 小时 9 分钟前

回复了 Flowing 创建的主题 › ☕Vibe Coding🤖 › 大家现在订阅哪个模型？

copilot 不折腾

3 小时 9 分钟前

回复了 unpay 创建的主题 › 问与答 › 豆包和 deepseek 最终会向个人收费，你们认为呢

免费的模型可能以后就是 gpt4o 水平了
顶级模型肯定不是免费的

3 小时 10 分钟前

回复了 ufan0 创建的主题 › 生活 › 通勤路上被和尚纠缠，应该如何应对？

你就是烂好人不懂拒绝才会被纠缠

2 天前

回复了 jedeft 创建的主题 › 问与答 › 国外的 im，哪个国内用最顺畅？

没梯子你就老老实实呆在国内生态
不要有任何幻想
这年头搞个梯子又不是难事
没梯子你连 v2 都上不来好吧

2 天前

回复了 clacf 创建的主题 › 教育 › 感觉中考五五分流，比高考还残酷

另外 “三是可预见的未来，也和大厂高薪无缘了。” 这个普通人就不要幻想金字塔的顶端了
切莫被我即世界给误导了

2 天前

回复了 clacf 创建的主题 › 教育 › 感觉中考五五分流，比高考还残酷

早点去学手艺不要浪费人生我觉得挺好的
冷知识:义务教育就到初中为止再往后就是选拔式教育了

2 天前

回复了 echotriggle 创建的主题 › 职场话题 › 工作问题咨询，走还是留

会被裁员那就是假国企既然不稳定还不如去多赚点钱

2 天前

回复了 fgvbt3 创建的主题 › 推广 › Bybit 大陆用户注册教程身份证可过 KYC， Bybit 卡开卡放水中！

入金方便吗

2 天前

回复了 wali77 创建的主题 › Local LLM › 有人用 mac studio 测试过 gemma4 31b 16 吗

M4 Max 64G + oMLX 0.3.1 gemma-4-31b-it-4bit-mlx 版本没有清空内存顺手跑的

## Single Request Results

| Test | TTFT (ms) | TPOT (ms/tok) | pp TPS | tg TPS | E2E Latency | Throughput | Peak Mem |
|---|---:|---:|---:|---:|---:|---:|---:|
| pp1024/tg128 | 5558.0 | 52.03 | 184.2 tok/s | 19.4 tok/s | 12.166s | 94.7 tok/s | 18.86 GB |
| pp4096/tg128 | 26818.7 | 59.03 | 152.7 tok/s | 17.1 tok/s | 34.316s | 123.1 tok/s | 20.51 GB |

## Continuous Batching

### pp1024 / tg128

| Batch Size | tg TPS | Speedup | pp TPS | pp TPS/req | Avg TTFT (ms) | E2E Latency |
|---|---:|---:|---:|---:|---:|---:|
| 1x (baseline) | 19.4 tok/s | 1.00x | 184.2 tok/s | 184.2 tok/s | 5558.0 | 12.166s |
| 2x | 24.9 tok/s | 1.28x | 140.9 tok/s | 70.5 tok/s | 14531.3 | 24.829s |
| 4x | 19.1 tok/s | 0.98x | 133.9 tok/s | 33.5 tok/s | 30593.7 | 57.345s |

4 天前

回复了 kachibear 创建的主题 › 她她 › 上海女性交友贴

热帖预定

» nrtEBH 创建的更多回复