从模型仓库下载开源大模型时,你会看到两组数字:一组是「7B」「32B」这样的总参数量,另一组是「激活 3B」「激活 13B」这类说法。后者说的就是激活参数量——模型每次回答你时,真正参与计算的那部分参数有多少。总参数像一家公司的全部员工数,激活参数更像每个班次实际到岗干活的人数,两个数都看,才不会选错模型。
先把两个数字分开看
总参数量决定模型的「知识容量上限」:参数越多,能装下的语言规律与世界知识一般越多。激活参数量决定每次推理的计算量:激活得越少,单次回答通常越快、越省资源。所以一个总参 671B、激活 37B 的模型(具体数字以官方最新版本为准),日常运行负担更接近一个几十 B 的稠密模型,而不是按 671B 线性估算。
能带走的判断:看一个模型快不快,先看激活参数量;看它博不博学,才看总参数量。顺带记住,总参数量也不等于下载体积,那要看模型权重文件怎么存。
| 维度 | 总参数量 | 激活参数量 |
|---|---|---|
| 决定什么 | 知识容量上限 | 单次推理的计算量 |
| 直接影响 | 能答上来的问题面 | 回答速度与资源开销 |
| 常见误读 | 按总数线性估算运行负担 | 把它当成质量指标 |
一个图书馆类比,以及它哪里失效
把模型想成一座超大型图书馆:总参数量是馆藏总量,激活参数量是你每次查阅时真正被调出来的那几个书架。查得少,响应快;馆藏多,答得上来的问题面广。这个类比能帮你理解「总参大、激活小」为什么成立,也解释了为什么有的模型又大又快。
但类比到这里要刹车:图书馆每次只翻几个书架,会漏掉别的架上的内容;而 MoE 模型的参数路由并不是按「主题」机械分架,每次激活哪些参数由训练学到的网络决定,边界远比书架模糊。别把它理解成「问数学就只动数学分馆」,真实机制复杂得多。想往下挖,可以接着读 MoE 里的专家是谁?专家分工的入门解释。
为什么这个数字总跟 MoE 一起出现
激活参数量这个词几乎只在讨论 MoE(混合专家)时出现。稠密模型全员参与计算,激活参数等于总参数,没人特意标注。MoE 把参数拆成若干组「专家」,每个词只路由给少数几组,这才造出了「总参和激活参差距巨大」的现象。DeepSeek 的开源系列就是常被举例的 MoE 模型,它的模型卡上两组数字成对出现;类似地,词表大小也是模型页上容易被误读的独立数字,三个数各管各的事。
挑模型时这张速查表够用
激活参数量速查
- 模型页只写一个 B 数:多半是稠密模型,激活等于总参。
- 写成「总参/激活参」两个数:MoE 模型,速度看激活,知识面看总参。
- 显存紧张:先按激活参数估运行负担,再按权重体积估占用。
- 想核实数字:以 ModelScope 等仓库的模型卡标注为准。
宣传页爱放大数,跑在你机器上的真实开销,跟着激活参数量走。
最后补一句场景判断:日常问答、写作助手这类在线产品(比如 Kimi、豆包)不暴露这些细节,你只需要知道激活参数量影响的是响应速度;真到了自己部署开源模型的那天,再按这张表逐项核对。
关于激活参数量的三个追问
- 激活参数量会影响回答质量吗?:它本身不是质量指标,质量取决于总参数、训练数据与训练方法的整体配合,激活参数量更多解释速度和资源开销。
- 为什么有些 MoE 模型的激活参数比不少稠密模型还大?:设计取向不同,有的追求激活小、跑得快,有的让每次激活的规模更大以换取更强的单步能力,比较时得看它和谁比。
- 应用里显示的「模型大小」是激活参数吗?:不一定,多数在线服务只给模型名或版本号,具体规格要去模型的发布页查。


