大模型的参数量和数据量翻了几十倍之后,有些原本完全做不到的能力突然就能做了——多步推理、按例子学新任务、复杂指令跟随,都是常被点名的例子。业内把这种现象叫「涌现能力」:能力没有随规模线性变好,而是在某个规模点之后像台阶一样出现。这个概念支撑了前几年把模型越做越大的路线,但围绕它的争议一直没停过。
现象本身:能力是台阶,不是斜坡
涌现描述的观察是这样的:同一个任务,10B 规模的模型接近零分,70B 规模的模型突然能做对一大半,中间看不到「慢慢变好」的过程。支撑规模的三个变量是参数、数据和算力,三者一起抬,能力曲线在某个点上抬头。一个直观的例子是按示例学习:给模型几个「输入—输出」的示例让它照着完成新任务,小模型往往抓不到规律,答案离谱;模型够大之后就能看例子学会——没有人专门教过它这一条。
想判断一个模型处于哪个量级,可以先看参数量级的公开信息:7B 和 70B 的差距不只是数字,背后是数据、算力和预期能力的整体差异。
争议核心:能力真的「跳」了,还是尺子有问题
反对意见集中在评测方式上。很多基准只按最终答案对错计分,答错是 0 分、答对是 1 分。模型从「完全错」到「偶尔对」的平滑进步,在这种离散指标上看起来就像从 0 跳到 1。有研究换成连续计分(按部分正确给分)之后重新画曲线,不少「涌现」变成了平缓爬坡。换句话说,能力可能一直在稳定增长,只是我们选的尺子把它显示成了跳跃。
这个批评有分量,因为它指向的对象值得想清楚:被测量的东西没变,换一把尺子,结论就能从「突变」变成「渐变」。读任何「模型突然解锁新能力」的说法之前,先看它用的指标是对错计分还是连续计分。
对使用者来说,这场争议有实际意义:选型时看到的跑分,大多是离散计分出来的。「同一个模型在这份榜单突然领先、在那份榜单平平无奇」的现象,一部分就来自指标口径的差异。多任务混合的基准比单一任务基准更抗「跳跃假象」,因为各任务的得分变化会在汇总时互相抵消一部分。看榜先看任务构成和计分方式,再看名次,顺序别反。
规模之外,还有三个变量
即便涌现现象部分成立,把「做大」当成唯一路径也不成立。数据质量和配比影响巨大,训练方式(比如让模型先学会分步思考)能让中等规模模型做出过去要大模型才有的推理表现。产品侧还有一层:同一家厂商的不同代模型能力差异明显,免费版和付费版差在哪一文里的代际划分,比单看参数量更能反映真实体验。
开源阵营的情况也值得看:参数量相近的开源权重模型,因为数据和训练路线不同,实际能力可以差出一个代际,开源权重模型能免费用吗一文对使用和商用边界有说明。选型时把「规模」当参考而不是答案,才不会被单一数字带偏。
这个概念能预测什么,不能预测什么
涌现是个回溯性的描述,不是预测工具。它解释不了「下一个能力会在哪个规模点出现」,也推不出「我的任务会不会受益」。工程上更可靠的做法是在自己的任务上实测:拿几十条真实输入跑一遍,看表现和成本,比争论「大模型会不会涌现出这个能力」有用得多。量化就是现成的对照样本——模型量化为什么能瘦身一半一文中,规模缩小后多数任务表现基本保留、个别任务下滑明显,恰恰说明能力与规模的关系因任务而异,不存在一条对所有任务通用的台阶线。
| 场景 | 做法 | 判断标准 |
|---|---|---|
| 选模型 | 先在自己任务上跑小样本实测,再决定用哪一档 | 同一批输入下,正确率与使用成本的差值是否拉开 |
| 读评测 | 先看计分方式:对错计分要打折扣,连续计分更可信 | 换一种计分方式后,结论是否还成立 |
| 追新能力 | 等能力进入产品并稳定可用,不为「可能涌现」付溢价 | 官方更新说明里是否明确列出该能力 |
| 排查表现差异 | 先排除数据、提示词、版本代际,再谈规模因素 | 同版本、同提示下结果是否可复现 |
涌现能力速查
- 涌现=能力在某个规模点后突变出现,是观察到的现象,不是定律
- 「跳跃」可能一部分来自对错计分的评测方式,连续计分下曲线更平缓
- 规模之外,数据质量与训练方式同样决定能力
- 别用涌现做选型依据,实测自己的任务才算数
- 量化、蒸馏都会改变能力边界,结论以实测为准


