大模型参数量是怎么涨上来的？从 1 亿到万亿

聊起 AI 大模型，参数量是出现频率最高的数字：GPT-1 只有 1.17 亿，几年后公开模型做到几千亿，万亿级的稀疏模型也进入公开讨论。这条陡峭的曲线是怎么爬上来的？本文按公开论文与公开报道梳理参数量的增长节点，再讲数字背后的两道约束——数据与算力。参数怎么算的基本概念见参数量一篇，本篇只讲这条曲线的历史。

从 1 亿起步的头几年

公开论文给出的节点很整齐。2018 年 6 月，OpenAI 的 GPT-1 论文公开，参数量 1.17 亿，证明「预训练加微调」这条路走得通；同年谷歌的 BERT 公开，基础版 1.1 亿、大版 3.4 亿，两条线的量级接近。2019 年 2 月，GPT-2 公开，参数量 15 亿，是 GPT-1 的十几倍，当时的公开叙事里「零样本迁移」被反复讨论，模型大到一定程度，不用微调也能做任务的说法由此流行。这个阶段的增长逻辑直白：参数多一点，能装下的语言规律就多一点，效果随规模稳步上升，尽管具体幅度各家论文口径不一。

千亿时代的跳变

真正的跳变发生在 2020 年。GPT-3 论文公开，参数量 1750 亿，比 GPT-2 又放大了一百多倍，少样本能力的公开演示（给几个例子就能上手新任务）把规模的意义推到台前，见GPT-3一篇。此后各家公开模型向千亿级靠拢：2022 年谷歌公开的 PaLM 达到 5400 亿，是公开论文口径里稠密模型的峰值之一。所谓稠密，就是每个参数在推理时都参与计算。支撑这一轮跳变的条件在公开文献里能对上号：大规模清洗后的网页语料、上万块加速卡组成的训练集群、以及把训练拆到几千块卡上的系统工程。规模法则的研究把「加参数能换多少效果」算成了可以估的曲线，见规模法则一篇。

数字背后的两道约束

参数不是白涨的，两道约束写在公开文献里。第一道是数据：参数翻倍，喂给模型的训练数据也要配比增长，否则模型吃不饱、训练不划算；公开研究提出的配比结论后来被多方引用，「参数与数据要一起长大」从此成为共识。第二道是算力与显存：训练要买卡、要时间，推理要部署——一个千亿稠密模型跑一次回答，成本随参数线性走高，显存放不下就跑不动。这两道约束解释了后来曲线的形状变化：参数量没有一路翻着涨，而是换了涨法。参数与算力的关系对照，见摩尔定律与 AI 算力一篇。

万亿级与稀疏化路线

约束催生了稀疏化路线：混合专家模型（MoE）。思路是把参数切成多个「专家」，每次推理只激活其中一小部分——总参数可以堆到万亿级，实际参与计算的参数却与百亿级模型相当。公开报道里，头部闭源模型的万亿级说法流传较广，但官方未公布具体数字，各家估算口径不一，以公开资料为准；开源侧的公开 MoE 模型则把总参数与激活参数都写在模型卡里，可以逐条核对，专家分工与路由的机制见混合专家模型一篇。于是今天的参数量数字要分两个读法：看总参数，是知识容量的上限；看激活参数，才是单次推理的成本。让 DeepSeek 或通义千问把几款公开模型的总参数与激活参数列成对照表，再回模型卡逐条核对，是普通人自己核数字的现成办法。

参数量公开节点速查

• 2018 年：GPT-1 公开，1.17 亿参数；BERT 基础版 1.1 亿
• 2019 年：GPT-2 公开，15 亿参数
• 2020 年：GPT-3 公开，1750 亿参数
• 2022 年：PaLM 公开，5400 亿（稠密公开口径）
• 近年：万亿级稀疏 MoE 进入公开讨论，闭源数字未公布，以公开资料为准

回头看，参数量这条曲线真正的信息量不在大，而在每一次放大背后方法与条件的变更：预训练范式、语料清洗、分布式训练、稀疏结构，缺一环，数字就涨不上去。读模型参数的第一眼先问一句——总参数还是激活参数，稠密还是稀疏，数据与算力配齐了吗，比记住数字本身有用。

参数量快问快答

• 参数越多模型一定越好吗？：不一定。效果还取决于训练数据的量与质量、训练是否充分，公开研究明确指出参数与数据需要配比；同为千亿级，训练到位与否的差距可能很大。
• 万亿参数的模型为什么有些跑得动普通显卡？：因为稀疏激活。总参数堆到万亿的 MoE 模型，每次推理只激活一小部分专家，显存与算力需求主要看激活参数，这也是稀疏路线流行起来的原因。
• 模型卡上的参数数字可以直接信吗？：开源模型公开的参数量通常可信，闭源模型的流传数字多为外界估算，以官方公开资料为准；分不清总参数与激活参数时，看两个数字的区别即可，概念见参数量一篇。