现在的 AI 思考模型会先在答案前写一段推理草稿,再给出正式回答,中间靠特殊标记切换。草稿从哪来、怎么收、怎么展示都有讲究,草稿质量还直接关系答案质量,这段机制值得看仔细。
思考段从哪里开始切
模型训练时就见过大量先推理后作答的样本,生成时遇到起始标记,就进入思考段:接下来产出的每个标记都属于草稿。进来的是用户提问,发生的是标记触发的模式切换,出去的是一段自言自语式的推理文本。
草稿并非摆设:模型在里面拆问题、试路子、自我纠错,正式答案的准确率因此受益。训练数据里草稿和答案成对出现,模型因此学会先想后答的节奏,标记位置是学出来的,并非硬编码的规则。草稿越长通常想得越细,但等待时间也同步变长。
思考段和普通回答共用一套生成机制,差别只在标记开关:开了是草稿模式,关了直接作答。这个设计让同一套模型参数兼顾两种模式,训练与部署都省事,也解释了为什么草稿的文风和正式回答一脉相承。
标记切换时发生了什么
切换本身只是两个特殊标记:起始标记宣布开始想,结束标记宣布想完了。模型生成到结束标记时,服务端识别到它,把模式从草稿切到正式作答。流程上没有玄机,难在训练时让模型学会在正确的位置放这两个标记。
服务端还会做标记过滤:草稿里的原始标记不该漏给用户,界面展示的通常是剥离标记后的推理全文或摘要,有些实现还会在草稿里做步骤标注,方便看清推理脉络。你在 DeepSeek、Kimi 里看到先「思考中」再出答案,就是这一整套在跑。标记还有容错问题:模型偶尔放错标记的位置,该收没收、该开没开,服务端要做校验,发现异常就按启发式规则补救,比如草稿超长强制截断、答案过短提示重试。切换的粒度是整段而非逐句,草稿写完才允许正式作答,中途不会来回横跳。
把标记切换前后的四个环节摊开对照。
| 环节 | 触发条件 | 服务端动作 | 对应现象 |
|---|---|---|---|
| 开草稿 | 生成到起始标记 | 模式切到草稿,接下来产出的每个标记都属于草稿 | 界面先显示「思考中」 |
| 收草稿 | 生成到结束标记 | 识别标记,把模式从草稿切到正式作答 | 开始输出正式答案 |
| 标记过滤 | 草稿产出之后 | 剥离原始标记,展示推理全文或摘要 | 看不到草稿里的原始标记 |
| 容错补救 | 模型把标记放错位置,该收没收、该开没开 | 按启发式规则补救:草稿超长强制截断、答案过短提示重试 | 草稿被截短,或收到重试提示 |
思考段怎么被收走
思考段并非无限长:有的产品设了思考预算,到量就注入提示催收;有的靠训练让模型学会自己收尾。进来的是超长的草稿,发生的是截断或引导,出去的是转入作答的生成流。
展示层面另有取舍:全文展示让用户看得见推理,摘要展示省地方,折叠展示两头兼顾。草稿是否参与最终答案的计算也各不相同,多数实现里草稿只是前文,不额外改写答案。草稿的标记也计长计费:草稿占上下文窗口,也占响应时间,产品端把这一项单独显示,用户才知道等待花在了哪。预算的粒度也有讲究:按标记数定最直接,按时长定更贴体感,按轮数定最简单,三选一就行,叠太多规则互相打架。
- 速查:起始标记开草稿;结束标记收草稿;标记位置靠训练学会;预算与截断防超长;展示有全文、摘要、折叠三档。
思考段的长短牵动整条服务链路:温度设 0 为什么输出还不完全一样?关系草稿的稳定性,重试的退避是怎么算的?越等越久处理草稿超长导致的超时,超时后的部分结果怎么处理?半截答案承接中断现场,降级时的小模型是怎么顶上的?机制细节全梳理则是换更小模型换挡的另一条路。
关于思考段,问得最多的三个
- 草稿算不算最终答案的一部分?:一般不算,多数实现里它只是推理过程,正式答案在结束标记之后。
- 为什么有时草稿特别短?:简单问题模型很快自认想完,标记切换提前发生,草稿自然收得早。
- 草稿能关掉吗?:看产品开关,关掉通常省时间,难题的准确率会回落一些,复杂推理场景建议保留。


