Mistral... 别说和 Qwen GLM 什么的比，之前随手试过几次他们所谓的 SOTA 级别推理模型，我也没上什么难题，输出结果还是令人让忍俊不禁

chat 版，也就是非推理版，进步不大，不过比 4.1 还是强一点，但不多，日常简单问题可以用，其他都推荐推理版

@iyaozhen

> 不是给一个 schema 让模型去生成一个 json 再修语法。而是使用已有的数据（非 json 的 output ），往 schema 上填。

可以很明确的说并不是这样的，各大开源推理引擎都有相关实现可以参考。

---

来具体捋一下：

guided decode 可以确保模型生成的内容满足 json schema （前提是生成会终止），但是“让模型知道我要按某个 schema 输出 json” 是提示词（或者说上下文）做的事。

有的厂商，例如 OpenAI 和火山，他会告诉你：你直接在参数里给我传 schema 就行了，prompt 里不用说我要这个 json ，关注业务就好。这里，它们实际做的事是：在你的 prompt 后面或者在系统提示词里，按一定格式（可能有针对训练固定格式，也可能是直接拼接 prompt ）告诉模型：下面这个是 schema ，你要按照这个生成，最后在 decode 时候由采样器强制规范，完成整个过程。实际上输入给模型的大多是这样的东西（示意）

<|user|>{你的 prompt} <|output_format|>JSON: {schema} <|assistant>

也可以参考 OpenAI 最近的开源模型，它的聊天模板里明确说了

Structured output

To control the output behavior of the model, you can define a response format at the end of the developer message with the following structure:

```
# Response Formats
## {format name}
// {description or context}
{schema}<|end|>
```

是加在系统提示里面的。最后结合推理引擎的 guided decode 生成。

@matrix1010 这里其实比较微妙，实际上现在绝大多数的大模型都或多或少接受过“给定一个 json schema ，生成满足这个 schema 的 json” 这种训练（或者由其他类似的训练泛化得到相同能力）——你可以纯纯的使用 prompt 给模型 schema 要求它生成，他不至于完全做不了，顶多是有些地方会有语法/语义错误，然后 guided decode 就可以强制解决语法错误，至于内容和语义上，最终还是看模型的能力。

@musi #8 ，这里的 decode 是指 LLM 生成的最后一个阶段——从概率分布中采样，不是说 decode json string

这个其实不难，就是推理引擎加个约束采样，感觉更多是不重视，火山引擎就可以

https://www.volcengine.com/docs/82379/1568221

也可以用一些第三方平台提供的推理服务，都有这些功能

https://fireworks.ai/docs/structured-responses/structured-response-formatting

https://docs.nebius.com/studio/inference/json

回复一下附言：PoE 本质上来源还是 API ，但是如果每个月用完他给的点数是比直接买 API 划算；缺点就是没有 c 端的一些特色功能了（例如 ChatGPT 的 o3 各种搜索/代码执行能力；又例如 Gemini APP 的 Deep Research ；又例如 Claude 客户端的 MCP 之类的）

2c
-----------
- ChatGPT Plus / 有限推荐（仅环境满足不降智要求），o3 检索汇总能力独一档
- Gemini APP Pro / 弱推荐（仅有 Deep Research 需求），只有 DR 算是亮点，其他阉割上下文+提示词降智不如用 API
- Claude.ai (Web) / 不推荐（环境要求高，容易封号； Claude 除编程能力外都很一般，有需求建议直接在 AI IDE ，各种 cli 下用）
- Grok / 没用过，看反馈做的还可以，可以考虑充

API
-----------
充中转，很多模型都能用，一般就 Gemini 2.5 Pro / o3 / claude 4 sonnet 这几个看需求用吧，御三家来着。

@frankyzf 有的，比如 openrouter 不支持 responses api

https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha (不支持 PDF)

术语表生成： https://github.com/neavo/KeywordGacha

其实感觉起来先从 PDF 提文本再给工具翻比较好，比如 doc2x 之类（不想用也可以自己写脚本扔给 Gemini API ），竖排日文不确定能不能做。不行的话单独处理，用类似 https://github.com/kha-white/manga-ocr 的东西

支持！

单从提出的问题数量来看，其实早就在走下坡路了，LLM 可能只是最后一根稻草罢了。这里有更多相关讨论：

https://gist.github.com/hopeseekr/f522e380e35745bd5bdc3269a9f0b132

https://www.reddit.com/r/programming/comments/1i5miw0/stackoverflow_has_lost_77_of_new_questions/

感觉可以考虑一下 Firecrawl 这种，它的抓取器内置了很多解析相关的东西，能满足需求就直接用就行

@sillydaddy

1. 当然有... 底层来说，硬件方面就引入的很多不确定性，CUDA 也有一些原语不是确定性的（ https://news.ycombinator.com/item?id=37009167 有一些讨论，像是 pytorch 这些依赖 cuda 的也会因此受影响： https://github.com/pytorch/pytorch/issues/75240 ），这些不确定性在大规模推理（多 GPU 、多节点）的情况下会愈加明显。推理框架本身也会因为调度，batch inference 下的 padding 加入很多不确定性，这里也有很多讨论： https://news.ycombinator.com/item?id=44527256

2. 模型到 lm_head 这里还是纯函数，而 temp=0 等价贪婪采样，按你的说法，对相同的信息给出的 logits 不会变，最后贪婪采样也是完全确定的，整个过程没有任何随机性参与。但是实际上实践上就是因为上面各种原因做不到

@neteroster #4 开源推理框架的一些信息：

> vLLM does not guarantee the reproducibility of the results by default, for the sake of performance. You need to do the following to achieve reproducible results:

> For V1: Turn off multiprocessing to make the scheduling deterministic by setting VLLM_ENABLE_V1_MULTIPROCESSING=0.

> 相同的消息必须有相同的回复，违反了这点就意味着模型有所变化。

错误的。LLM 生成最后有采样步骤会引入随机性。即使贪婪采样，现代 LLM 推理框架在性能上的一些优化措施也会导致几乎丧失稳定的 reproducibility 。

OpenAI 是这么说的：... If specified, our system will make a *best effort* to sample deterministically, such that repeated requests with the same seed and parameters should return the same result. Determinism is *not guaranteed*

Anthroic 是这么说的：...Note that even with temperature of 0.0, the results will not be fully deterministic.

题目是啥，什么模型什么渠道调用的

@threeBoy 错误的，Gemini 个人号有免费 1000 次额度每天，这个是和 GCP 那边完全独立的。

---

这个错误有多种可能的原因，可能不是 workspace 的关系，具体请参阅：

https://github.com/google-gemini/gemini-cli/blob/main/docs/cli/authentication.md

官方速率限制：
https://ai.google.dev/gemini-api/docs/rate-limits

tier 1 flash 也有 1000 请求/分钟，应该不那么容易撞吧

话说你是在用沉浸式翻译吗