跳到主内容

什么是「规模定律」?模型越大越强还成立吗

2026-10-06 发布 来源:我告诉你AI导航 阅读

前几年 AI 圈有个近乎共识的判断:把模型做大、数据喂多、算力堆够,能力就会持续变强。这个判断来自一条叫「规模定律」的经验规律。它当年是军备竞赛的理论依据,如今却被越来越多地重新审视。本文讲它到底是什么、为什么重要、为什么开始松动,...

前几年 AI 圈有个近乎共识的判断:把模型做大、数据喂多、算力堆够,能力就会持续变强。这个判断来自一条叫「规模定律」的经验规律。它当年是军备竞赛的理论依据,如今却被越来越多地重新审视。本文讲它到底是什么、为什么重要、为什么开始松动,以及「越大越强」今天该怎么看。

规模定律到底在说什么

规模定律说的是一组可预测的关系:模型规模、数据量、算力投入这三项,和模型效果之间存在规律性的对应——投入按某种方式增长,效果也按某种曲线提升。它不是玄学,是从大量实验结果里拟合出来的经验规律。它的价值在于,把「要不要继续加大投入」从拍脑袋变成了可以估算的问题。

要理解规模定律,得先知道「算力」是怎么计量的,投入的「翻倍」到底翻的是什么,可参考 什么是 FLOPS。

它当年为什么是理论依据

如果规律成立,企业就能提前判断「投多少钱、能换来多少提升」,而不必盲目试错。这直接推动了几年前的大模型军备竞赛:大家都相信只要按曲线继续堆,能力就能继续涨。于是参数量从几亿一路涨到几千亿,训练数据从 GB 级涨到 TB 级。规模定律把「堆资源」从豪赌变成了看起来有章法的事。

为什么现在开始被重新审视

四个原因让这条规律不再那么笃定。数据快用完:高质量文本的增长速度,跟不上模型对数据的需求,能挖的新数据变少。成本增速更快:规模上去之后,投入的增长远快于效果的提升。边际收益变薄:从「能不能做」到「做得好不好」,靠堆规模的帮助变小。方法和效率权重上升:同样的规模,训练方法、数据质量、推理效率能带来更大的差别。

这也解释了行业讨论重心的转移:从「参数量」转向「数据质量、训练方法、推理效率」。规模之外,训练之后的 对齐环节同样在拉高最终体验的方差,规模大并不自动等于「好用」。

「越大越强」还成立吗

更准确的说法是:在规模还没到瓶颈时,堆规模有效;到了瓶颈之后,靠规模还是靠方法,差别就显现出来了。所以「越大越强」不是一个恒成立的口号,而是一个有条件、有区间的经验判断。把它当绝对真理,会在投入上犯错。

判断维度堆规模的时代后规模的时代
主要瓶颈算力与数据够不够高质量数据与方法
提升手段加参数、加数据、加卡改训练方法、提数据质量
典型指标参数量、FLOPS实际任务表现、推理成本

它不适用的情况

规模定律是统计规律,有几处它不兜底。第一,它预测的是「平均趋势」,具体到某个模型,实际表现可能偏离曲线。第二,它无法确保「能力一定按比例落在你要的任务上」:通用指标涨了,你的具体任务未必同步变好。第三,它没有把「数据里混进的噪声和错误」算进去,数据质量差时,堆再多规模也可能是放大噪声。

普通人该怎么看参数

记住一个能带走的判断:看到「参数更大」的宣传,别自动等于「更好用」。规模只是众多变量之一,实际表现还得自己试。判断一个模型值不值得用,看它在你的真实任务上的表现,而不是看它的参数量排第几。如果你打算在本地跑模型,规模会直接变成硬件门槛,可先了解 什么是 GGUF 这类本地模型文件的常用格式;至于普通人该补哪些能力,见 什么是 AI 素养。

看「参数更大」宣传时的三个自问

  • 它对比的基准是什么?是通用榜单还是我的任务?
  • 「更大」带来的成本,我愿不愿意付?
  • 同样规模下,它的数据和方法有没有更讲究?

规模定律是一个有价值的方向性规律,但不是一个可以无限外推的承诺。理解了它的边界,你就不会在「堆参数」和「拼方法」之间盲目站队。对普通人来说,把注意力放回「这个模型能不能解决我的问题」,比记任何公式都实用。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]