跳到主内容

思考模型的思考段是怎么生成的?标记切换

2026-10-18 发布 来源:我告诉你AI导航 阅读

现在的 AI 思考模型会先在答案前写一段推理草稿,再给出正式回答,中间靠特殊标记切换。草稿从哪来、怎么收、怎么展示都有讲究,草稿质量还直接关系答案质量,这段机制值得看仔细。

现在的 AI 思考模型会先在答案前写一段推理草稿,再给出正式回答,中间靠特殊标记切换。草稿从哪来、怎么收、怎么展示都有讲究,草稿质量还直接关系答案质量,这段机制值得看仔细。

思考段从哪里开始切

模型训练时就见过大量先推理后作答的样本,生成时遇到起始标记,就进入思考段:接下来产出的每个标记都属于草稿。进来的是用户提问,发生的是标记触发的模式切换,出去的是一段自言自语式的推理文本。

草稿并非摆设:模型在里面拆问题、试路子、自我纠错,正式答案的准确率因此受益。训练数据里草稿和答案成对出现,模型因此学会先想后答的节奏,标记位置是学出来的,并非硬编码的规则。草稿越长通常想得越细,但等待时间也同步变长。

思考段和普通回答共用一套生成机制,差别只在标记开关:开了是草稿模式,关了直接作答。这个设计让同一套模型参数兼顾两种模式,训练与部署都省事,也解释了为什么草稿的文风和正式回答一脉相承。

标记切换时发生了什么

切换本身只是两个特殊标记:起始标记宣布开始想,结束标记宣布想完了。模型生成到结束标记时,服务端识别到它,把模式从草稿切到正式作答。流程上没有玄机,难在训练时让模型学会在正确的位置放这两个标记。

服务端还会做标记过滤:草稿里的原始标记不该漏给用户,界面展示的通常是剥离标记后的推理全文或摘要,有些实现还会在草稿里做步骤标注,方便看清推理脉络。你在 DeepSeek、Kimi 里看到先「思考中」再出答案,就是这一整套在跑。标记还有容错问题:模型偶尔放错标记的位置,该收没收、该开没开,服务端要做校验,发现异常就按启发式规则补救,比如草稿超长强制截断、答案过短提示重试。切换的粒度是整段而非逐句,草稿写完才允许正式作答,中途不会来回横跳。

把标记切换前后的四个环节摊开对照。

环节触发条件服务端动作对应现象
开草稿生成到起始标记模式切到草稿,接下来产出的每个标记都属于草稿界面先显示「思考中」
收草稿生成到结束标记识别标记,把模式从草稿切到正式作答开始输出正式答案
标记过滤草稿产出之后剥离原始标记,展示推理全文或摘要看不到草稿里的原始标记
容错补救模型把标记放错位置,该收没收、该开没开按启发式规则补救:草稿超长强制截断、答案过短提示重试草稿被截短,或收到重试提示

思考段怎么被收走

思考段并非无限长:有的产品设了思考预算,到量就注入提示催收;有的靠训练让模型学会自己收尾。进来的是超长的草稿,发生的是截断或引导,出去的是转入作答的生成流。

展示层面另有取舍:全文展示让用户看得见推理,摘要展示省地方,折叠展示两头兼顾。草稿是否参与最终答案的计算也各不相同,多数实现里草稿只是前文,不额外改写答案。草稿的标记也计长计费:草稿占上下文窗口,也占响应时间,产品端把这一项单独显示,用户才知道等待花在了哪。预算的粒度也有讲究:按标记数定最直接,按时长定更贴体感,按轮数定最简单,三选一就行,叠太多规则互相打架。

  • 速查:起始标记开草稿;结束标记收草稿;标记位置靠训练学会;预算与截断防超长;展示有全文、摘要、折叠三档。

思考段的长短牵动整条服务链路:温度设 0 为什么输出还不完全一样?关系草稿的稳定性,重试的退避是怎么算的?越等越久处理草稿超长导致的超时,超时后的部分结果怎么处理?半截答案承接中断现场,降级时的小模型是怎么顶上的?机制细节全梳理则是换更小模型换挡的另一条路。

关于思考段,问得最多的三个

  • 草稿算不算最终答案的一部分?:一般不算,多数实现里它只是推理过程,正式答案在结束标记之后。
  • 为什么有时草稿特别短?:简单问题模型很快自认想完,标记切换提前发生,草稿自然收得早。
  • 草稿能关掉吗?:看产品开关,关掉通常省时间,难题的准确率会回落一些,复杂推理场景建议保留。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]