什么是偏差与方差？模型「学不够」和「学过头」

训练一个 AI 模型出错，错误通常只来自两个方向：要么没学到规律，要么把噪声也当成了规律。前者叫偏差大，后者叫方差大。这两个词听起来抽象，其实对应同一件事的两头——模型「学不够」和「学过头」。看懂这对概念，你就掌握了一条判断模型好坏的主线。

先说结论：两股相反的力

偏差衡量模型预测值离真实值的平均距离，方差衡量模型对不同训练样本的敏感程度。它们往往此消彼长：模型越简单，偏差越大、方差越小；模型越复杂，偏差越小、方差越大。机器学习里所谓的调参，很大一部分工作就是在这对矛盾之间找平衡点。

偏差大：模型「装不下」规律

偏差大的典型表现是欠拟合。假设真实数据是一条抛物线，你偏要用一条直线去逼近，无论怎么训练，直线都只能切到抛物线的一小段，剩下部分全错。这时模型在训练集和测试集上表现都差，问题不在「没训练好」，而在模型容量不够，装不下真实规律。

判断偏差大的方法很直接：如果训练集上的误差本身就很高，说明模型连「背下来」都做不到，基本可以断定是偏差问题。应对方向是增加容量：换更强的结构、加入更多特征、减弱正则化强度。比如从几十个特征扩充到上百个特征，或从浅层网络换成更深的网络。

方差大：把噪声当成了规律

方差大的典型表现是过拟合。还是抛物线数据，如果你用一个几十次的多项式去拟合，曲线会把每个样本点都精确穿过，包括那些带噪声的点。它在训练集上误差接近零，一旦换一批数据，误差立刻飙升。

方差的本质是模型对训练数据的细微变化过度反应。换掉几个样本、打乱一下顺序，结果就天差地别，这说明模型记住的是这组数据的偶然细节，而不是稳定规律。应对方向是抑制复杂度：加数据、加正则化、剪枝、降低特征维度。

打靶比喻，以及为什么不能两头都占

把模型预测想成打靶：偏差大等于弹着点整体偏离靶心，是瞄错了方向；方差大等于弹着点散得很开，是手不稳。理想状态是又准又稳。问题在于，现实中「换一把更复杂的枪」往往让瞄准更准的同时手更抖，两者很少能同时降到底。

速查：偏差与方差一句话判断

• 训练误差高、测试误差也高：偏差大，模型太简单，处于欠拟合。
• 训练误差低、测试误差高：方差大，模型对样本过拟合。
• 两边都低且接近：当前模型在这个任务上基本合适。

一张表：从现象反推该调什么

判断时不要只看一个数字。用五折交叉验证，把数据切五次、训练五次，看误差的均值与波动，比单次划分更能暴露方差问题。相关的欠拟合值得单独展开。

这套框架解决不了什么

偏差—方差框架是理解「学不够」和「学过头」的有用模型，但它不是万能标尺。它假设存在一条稳定的真实规律，现实中很多任务并没有唯一正确答案：文本生成好不好、推荐合不合口味，很难用单一的误差数字衡量。此时单看偏差和方差，会漏掉「回答是否有用」这一层判断。

另一个边界是：它不能直接告诉你该换哪个模型。减少偏差和减少方差的具体手段，取决于数据规模、任务类型和计算预算。偏差和方差更像诊断方向，不是处方。真要评估一个生成式模型好不好，往往需要用模型评模型的思路，而非只看损失曲线。

落到实践上，想进一步缩小偏差，通常要从更强的骨干结构入手，例如换用容量更大的网络，或通过AI API接入规模更大的模型做对照实验。想理解「更强模型」从哪来，可以看拉德福德的 GPT 论文脉络，那里记录了模型容量如何一步步被推高。