什么是欠拟合？模型「没学会」的样子

交卷铃响，有人盯着卷子只写得出三道大题——不是不想写，是真没学过。欠拟合就是模型这种没学会的样子：训练都跑完了，它在训练材料上的表现依然不利索。豆包、腾讯元宝的早期调优阶段，工程师大都要过这一关：先确认模型是真没学会，再决定加餐。

没学会长什么样：三个信号

第一个信号是训练集上的表现就差：给模型的材料它都学过，却还答得磕磕绊绊，说明知识没进脑子。第二个信号是损失降完就平：曲线早早躺平，后面加多少轮次都纹丝不动。第三个信号是换任何新问题都答非所问，而且错得没有规律——不是跑偏，是根本没谱。

三个信号也有轻重：出现第一个，基本确诊；出现第二个，多半是材料或配方；三个齐了还硬跑，纯粹是浪费算力。信号读得越早，加餐越及时。

三个信号的分量不同，对应的处置也不一样。

三个信号共同指向一句话：训练的功夫没下够。对不上号的时候，先怀疑材料质量与数量，再怀疑训练配置。什么是训练不稳定？loss 突然飞了是怎么回事那篇讲的曲线乱飞是另一种病，两种别混为一谈。

裸考：只复习一章就上考场

裸考这个比方很贴：一个学期只翻了一章就去考试，卷面上的空白全都来自没学，不是学偏了。欠拟合的模型就是这个考生——材料见得少、训练轮次不足、题目稍微变形就不认识。治法也因此直白：加餐。材料补量提质，轮次加到够，给它时间真学会。

裸考还有个后续：补考。欠拟合的模型加餐重来，就是给考生一次补考机会——材料补厚、轮次加够，曲线重新往下走。多数欠拟合都有补考价值，别急着宣判模型不行。

加餐的顺序也有讲究：先补材料质量，再补材料数量，最后才加轮次。顺序乱了，容易出现在一堆噪声材料上反复空转的怪事——力气花了，曲线不动。

但加餐也不是无限有效：考生的脑子容量跟不上，喂再多也消化不动，这时该换更宽的模型。什么是课程学习？从易到难的训练顺序那篇讲的从易到难，也能让同样的材料被消化得更充分。

欠拟合自查清单

• 训练集上就差：典型的没学会，先补材料和轮次
• 损失早早躺平：配方或材料量有问题，翻日志找拐点
• 加练无效：考虑模型容量不够，换更大的底子
• 先分清没学会和学过头，药方完全相反

类比失效的地方：加班未必治得了没学会

裸考类比有一处对不上：考生开夜车能补进度，模型加轮次却可能撞上天花板——材料本身信息就那么多，读到第五遍和第十五遍差别甚微。把没学会一律归罪于练得少，会错过真正的原因：材料太简单、容量不够、配方不对。

天花板的具体表现：损失降到某个位置就再也不动，加轮次只是重复。这时候该看两件事：材料的信息量是否已经榨干，模型的容量是否装得下更多模式。

还有一处：考生考前病一场状态全无，模型却没这种波动；它的没学会是实打实的积累不足。什么是安全微调？出厂前补一堂规矩课那篇讲的规矩课，也可能让模型变得过于保守，看起来像没学会，其实是学聪明了。

关于欠拟合，问得最多的三个

• 怎么快速判断是不是欠拟合？：看训练集上的表现；学过的材料都答不利索，基本就是它，新问题答不好可能是别的原因。
• 加轮次能治吗？：材料和容量跟得上时能；材料见底、容量到顶时，加轮次只是原地磨蹭。
• 它和过拟合哪个好治？：欠拟合通常好治，加餐就行；过拟合要减料、要加约束，反而更难拿捏。

没学会比学过头好办：加时间、加难度都还有路可走，最怕的是把没学会当学过头治——一个要添柴，一个要关火，油门踩反，两头不讨好。