什么是最大似然估计？模型是怎么「猜」参数的

抛十次硬币，七次正面，多数人会脱口而出"正面概率 0.7"。这个直觉就是最大似然估计：在所有可能的参数里，挑出让这组观测数据出现概率最高的那一个。它也是大模型训练的底层目标——调整权重，让训练语料在被预测时不那么"意外"。

似然不是概率，它衡量的是参数

概率是参数已知时数据出现的可能性；似然是数据已知时，某个参数值有多像背后的原因。抛硬币的例子中，正面概率 p 是参数，七正三反是数据。把 p 从 0 到 1 逐个代入，算出每组结果出现的概率，得到一条曲线，曲线的最高点落在 0.7。求这个最高点，就是最大似然。

实际操作不会真的逐个试。连乘容易数值下溢，所以取对数把乘法变加法，再求导令其为零。对数函数单调递增，最大值位置不变，这就是"对数似然"的由来。判断一个估计量好不好，看三点：是否无偏、方差多大、样本增多时是否收敛到真值。最大似然在大样本下通常满足第三条。

语言模型训练就是一次极大似然

把一句话拆成 token 序列，模型在每个位置输出下一个 token 的概率分布。训练目标是让真实出现的那个 token 的概率尽量高，等价于最小化它的负对数——这就是交叉熵损失。所以"降低 loss"和"提高训练数据的似然"是同一件事的两种说法。

这也解释了一个常见现象：模型对语料里高频的句式特别顺，对罕见表达则容易出错。似然优化的对象是语料的统计分布，语料里少的东西，模型没有动力去学好。数据配比因此比单纯堆量更关键：代码、数学、多语种的比例，直接决定模型在哪些方向上不意外。

样本少的时候，它一定偏

抛三次全是正面，最大似然给出的答案就是 1.0，即永远正面。这不是计算错误，是方法在信息不足时的必然结果。同理，某个词在语料里一次都没出现，模型给它的概率会趋近于零，之后再也预测不出来。

三个原因叠在一起：极端样本给出极端估计；它只看数据，不理会硬币通常不会两面都重这类背景常识；参数多、数据少时，模型会记住样本里的偶然噪声，换成新数据就失效。判断标准很直接——换一批同规模的样本，如果估计值剧烈跳动，说明当前数据量撑不起这个结论。

三种补救各自在补什么

加先验，把参数大概在什么范围写成分布，最大化的是后验而非似然，这就是最大后验估计。先验强，估计会被拉向常识；先验弱，结果回到最大似然。加正则，相当于给参数加一条别太极端的软约束，L2 对应高斯先验，L1 倾向于把不重要的参数压到零。加平滑，给每个可能结果预垫一个很小的计数，避免零概率。

三者都在做同一件事：在相信数据和相信常识之间调一个比例。比例给多少没有通用答案，数据越少、噪声越大，越该往常识一侧偏。反过来，数据足够多时，先验的影响会被稀释，加不加差别不大。

它做不到什么

最大似然给出的是点估计，一个数，不是"参数有九成概率落在某区间"这种陈述。要区间，得用置信区间或贝叶斯后验，那是另一套工具，结论的读法也不同。

它也不解决因果。似然只说哪组参数最能解释这批数据，不说改哪个变量会导致结果变化。观测数据里两个量一起变动，最大似然照样能拟合得很好，但背后可能是第三个变量在起作用。

数据本身的偏差，它更无能为力。样本只覆盖某类人群，估出的参数就只对这类人群成立，换一个分布，结论直接失效。所以看到任何"模型学到了什么"的说法，先问训练数据是怎么来的。

最大似然速查

• 似然看参数，概率看数据
• 连乘取对数，求导找峰值
• 交叉熵等于负对数似然，loss 降就是似然升
• 样本少必偏，三正零反会估出 1.0
• 先验、正则、平滑，都是往常识一侧拉

三个常被追问的点

• 为什么分类任务不用均方误差？：回归任务里误差服从高斯分布时，最小化均方误差与最大化似然等价。分类的输出是概率，不满足这个假设，所以用交叉熵，本质仍是似然。
• 参数越多，似然一定越高吗？：训练集上几乎总是更高，因为模型有余力记住噪声。要看验证集，验证集不再下降就是过拟合的信号。
• 大模型的 loss 降到多少算好？：没有通用阈值。分词器不同、数据集不同，loss 不可直接比较。看同一套评测上的表现，比盯绝对数值有用。

理解这条线，再去看模型规模就顺了：7B 和 70B 的差别不只是参数量，还包括能承载多少统计规律；量化为什么能瘦身一半走的是另一条路，不改目标函数，只压缩数值精度；免费版与付费版的差距也常落在数据与训练投入上。