Scaling Law 是怎么被发现的？堆算力的理由

AI 大模型为什么越做越大？回看历史，2020 年 1 月的一篇论文给出了影响深远的答案之一：《Scaling Laws for Neural Language Models》。它用系统实验画出语言模型损失的幂律曲线——参数、数据、算力按比例放大，模型表现就按可预测的斜率变好。这条曲线此后成了行业投入大规模训练的核心理由，也规定了这条路什么时候该看边界。

幂律曲线是怎么画出来的

2020 年前后，OpenAI 的研究团队做了一件朴素的事：在不同规模上系统训练大量模型，从小到大跨越多个数量级，把每个模型的验证损失记录下来，放到对数坐标上连成曲线。结果清楚：损失随参数量、数据量和算力的增长按幂律下降，且跨越多个数量级保持稳定。论文还有一条同样有分量的结论——在固定算力预算下，模型尺寸和训练数据应当同步放大，只堆一头是浪费。此前「更大更好」更像经验直觉，这篇论文把它变成了有实验支撑的可预测规律。

它成了扩规模的依据

规律一旦可预测，决策逻辑就变了：既然更多算力能换来可预期的改进，押注大规模训练就从赌博变成工程规划。2020 年 5 月发布的 GPT-3 以 1750 亿参数成为当时公开模型里规模的标杆，同年学界开始讨论「大模型出现了小模型没有的能力」，规模的意义又添一层。按这条曲线行事的团队随后把训练规模逐级推高，ChatGPT 的爆红让这条路线接受了一次大众检验，ChatGPT 上线两个月发生了什么记下了那次检验。2022 年，DeepMind 的 Chinchilla 论文又修正了数据一侧的配比——同等算力下应当用更多数据训练相对更小的模型——把曲线的用法打磨得更精细。

Scaling Law 时间线速查

• 2020 年 1 月：OpenAI 论文给出参数、数据、算力的幂律曲线
• 2020 年 5 月：GPT-3 发布，1750 亿参数
• 2022 年：Chinchilla 论文修正数据与参数配比
• 2023 年起：各家训练规模逐级抬升，国产模型同期入场
• 2024 年：规模回报是否递减成为公开讨论话题

适用边界在哪里

幂律是实验外推出来的，边界也就写在外推的尽头。第一是数据：高质量文本的存量有上限，数据不够时曲线会被数据侧卡住，这也是后来合成数据被广泛研究的原因。第二是成本：训练开销随规模上升，经济账迟早要算。第三是斜率本身：改进是持续但平缓的，量变到质变的节点在哪里，公开研究并无定论。2024 年起，关于规模回报是否递减的公开讨论多起来，各方口径不一——这类争论宜当作开放问题记录，本文不下结论。能确定的是，规模仍是影响因素之一，只是逐渐不再是唯一的那个。

与今天的关联

读今天的模型发布新闻，这篇论文的影子无处不在：发布会先报参数量，是因为参数规模在这条曲线上被赋予了含义，参数量怎么数一篇给了核对口径；各家逐年加大的算力投入，也源自「投入换可预期改进」的逻辑。今天你用的 DeepSeek、Kimi、通义千问，其训练规模决策都绕不开这条曲线定下的思考框架——每个团队都在参数、数据、算力的预算分配里做选择题，路线差异公开可查，高下交给用户与基准去判断。

规模之外还有什么

把 Scaling Law 放进更长的历史里看，它回答的是值不值得投入的问题，回答不了怎么做才对。架构上的进步——比如Transformer 论文发表时为什么没引起轰动里的那次——与训练方法的改进，都在曲线之外贡献了拐点；数据质量、后训练与对齐方法，也都是在固定规模下拉开差距的变量。读技术史的一个提醒是：规律描述过去，选择仍由人做。

Scaling Law 快问快答

• 幂律是什么意思？：一种数学关系——自变量乘以固定倍数，因变量按固定比例变化，在对数坐标上表现为直线，意味着改进可预测但不会突变。
• 堆算力一定有回报吗？：在数据充足、成本可承受的前提下，历史实验支持投入换改进；数据或成本卡住时，继续堆算力的回报会打折。
• Chinchilla 改了什么？：它指出同等算力预算下应把更多预算分给训练数据，模型尺寸与数据量需要平衡，具体配比以论文口径为准。