蒸馏时老师的哪些答案值得学？教学数据挑选

大模型教会小模型，常用的一招是蒸馏：拿老师的输出当教材。可老师吐过的答案千千万，哪些真值得学生花功夫学，是蒸馏里最关键的工程问题。本文按「谁来挑、按什么标准挑、挑错会怎样」的顺序，拆解这套教学数据挑选流程。

进来的是海量输出，出去的是少量教材

一次蒸馏任务里，老师模型先对训练 prompt 批量生成回答，一份任务动辄产出几十万条候选。挑选环节进来的是这份原始输出池，发生的是打分与过滤，出去的是几千到几万条学生可学的样本。挑选器可以是一个小模型、一组规则，也可以是老师自己的置信度，形式很多，职责统一：在海量候选里把高价值答案筛出来。

这份输出池里的每条样本，都是老师按一条消息的完整旅程那套流程一步步续写出来的，挑选只是旅程终点之后的二次筛选。它不改变生成过程，只决定哪些成品有资格进课堂。

挑选的三类主流标准

第一类看答案对不对：用参考解答或另一个裁判模型比对，正确率高的进教材。理工科的解题数据几乎都走这条路，错答案进了教材，学生只会把错误学得更牢。第二类看答案难不难：太简单的题学生本来就会，学了不涨分；太难的超出学生容量，学了消化不良。实践中常保留中等难度的样本，让师生差距落在「跳一跳够得着」的区间。第三类看多样性：同一道题如果老师十条答案一个味，挑一条代表性的就行，重复的凑数样本只会浪费学生容量。

三类标准经常叠加使用：先过正确性，再卡难度区间，最后按多样性去重。豆包、通义千问的团队在技术分享中都提到过类似流程，区别只在裁判怎么搭、阈值怎么定，具体实现以官方技术报告为准。

三道筛子按先后叠加使用，判据和漏筛后果各不相同。

为什么不能照单全学

老师并非全知。它会在自己没把握的题上给出流利但错误的答案，语气越自信越危险——学生没有辨别能力，照单全学就把老师的幻觉一并继承。挑选环节的裁判模型正是为了拦这类样本：宁可教材薄一点，也别把错误答案当圣经。另一方面，老师的答案带着自己的风格烙印，全盘学过来的小模型会连口头禅一起继承，这也是挑选时要控风格浓度的原因。

教学数据挑选自查清单

• 正确性优先：错答案进教材的代价远大于少几条样本
• 难度卡中间：太易不涨分，太难消化不良
• 多样性去重：同题同类只留代表
• 风格要控浓度：别把老师的口头禅一起继承

挑错教材的代价

教材挑错了，后果分两层。轻则浪费容量：学生花参数去记一堆重复或错误的样本，同样的参数学到的东西更少。重则系统性偏差：如果裁判模型和老师共享同一种盲区，筛掉的恰恰是该学的难例，留下的都是简单题，学生的能力分布会整体偏移。知识是怎么存进参数里的那篇讲过参数是知识的容器，数据层面的偏差填进去，存出来的就是歪的。

检测方法也直接：留出一批没进教材的题考学生，如果简单题都会、难题全崩，大概率是挑选环节把难度卡歪了。这种偏差比权重层面的问题更难发现，权重跑偏还能靠剪枝的重要性打分事后补救，数据挑错只能回炉重挑。

聊聊教学数据挑选的常见疑问

• 能不能让老师自己给自己打分？：可以，用输出概率或自评分数当参考，但自信的语气和正确率并不挂钩，通常还要再配一路独立裁判才稳妥。
• 学生越大是不是越不需要挑？：容量大能消化更杂的数据，但错误答案的伤害是质量层面的，不是容量层面的，挑选标准一条都省不掉。
• 挑选和后续训练是什么关系？：挑选是蒸馏的前置工序，决定学生能看到哪些教材；后续训练才决定学生从教材里吸收多少，两道工序各管一段，可以参考低秩分解是怎么省参数的理解训练侧的改造。

收束一句：老师吐得多，学生学得精，中间隔着挑选这一关；正确性、难度、多样性三道筛子过完，教材才敢进课堂。