本地部署 deepseek 70B 的模型，问答几轮之后就乱码了，怎么回事？我同事说一般部署的本地模型多轮问答之后就可能会有这个问题？
 |
1
superkkk 3 月 25 日 via iPhone
温度，启动命令，硬件配置？
|
 |
2
weishao666 OP @superkkk 不了解，还有这方面的差异？
|
 |
3
chairuosen 3 月 25 日
这个问题可能是彩神争霸大发快三 天天中彩票中大奖 ...
|
|
4
superkkk 3 月 25 日 via iPhone
@weishao666 肯定有关系啊，你啥也不说就一个截图，没办法诊断啊
|
 |
5
salor 3 月 25 日
如果是量化过的就是量化有问题，换一个。
|
 |
6
gigishy 3 月 27 日 via iPhone
国内的模型，说三遍：
不要量化版！ 不要量化版！ 不要量化版！ 比较大概率这个原因。 |
 |
7
coefu 3 月 27 日
@gigishy 不用量化版本，有那么多资源？而且，量化技术，实际上损耗很低了。unsloth 的动态量化 8bit 可以达到 95%+ FP16 的效果。
OP 这个问题，主要是： 1 ，deepseek 70B,已经很落后了。 2 ，OP 的问题，知识库里没有，还要联网搜索。 不过，我看情况猜，大概率是用的 没有动态量化的普通量化版本，而且还是类似于 2~4bit 之间的。 |
|
8
coefu 3 月 27 日
qwen3.5 4B 8 bit 都比 deepseek 70B 要强。
|
 |
9
oldlamp 3 月 28 日
可以考虑看看上下文设置的多少，另外这个模型当初就不太行，现在比他强的更是多了去了。
omnicoder-9b 可以试试，基于 qwen3.5-9b 的魔改。 |
Select Language