跳到主内容

什么是激活参数量?「B」数之外的另一个关键数字

2026-10-17 发布 来源:我告诉你AI导航 阅读

从模型仓库下载开源大模型时,你会看到两组数字:一组是「7B」「32B」这样的总参数量,另一组是「激活 3B」「激活 13B」这类说法。后者说的就是激活参数量——模型每次回答你时,真正参与计算的那部分参数有多少。总参数像一家公司的全部...

从模型仓库下载开源大模型时,你会看到两组数字:一组是「7B」「32B」这样的总参数量,另一组是「激活 3B」「激活 13B」这类说法。后者说的就是激活参数量——模型每次回答你时,真正参与计算的那部分参数有多少。总参数像一家公司的全部员工数,激活参数更像每个班次实际到岗干活的人数,两个数都看,才不会选错模型。

先把两个数字分开看

总参数量决定模型的「知识容量上限」:参数越多,能装下的语言规律与世界知识一般越多。激活参数量决定每次推理的计算量:激活得越少,单次回答通常越快、越省资源。所以一个总参 671B、激活 37B 的模型(具体数字以官方最新版本为准),日常运行负担更接近一个几十 B 的稠密模型,而不是按 671B 线性估算。

能带走的判断:看一个模型快不快,先看激活参数量;看它博不博学,才看总参数量。顺带记住,总参数量也不等于下载体积,那要看模型权重文件怎么存。

维度总参数量激活参数量
决定什么知识容量上限单次推理的计算量
直接影响能答上来的问题面回答速度与资源开销
常见误读按总数线性估算运行负担把它当成质量指标

一个图书馆类比,以及它哪里失效

把模型想成一座超大型图书馆:总参数量是馆藏总量,激活参数量是你每次查阅时真正被调出来的那几个书架。查得少,响应快;馆藏多,答得上来的问题面广。这个类比能帮你理解「总参大、激活小」为什么成立,也解释了为什么有的模型又大又快。

但类比到这里要刹车:图书馆每次只翻几个书架,会漏掉别的架上的内容;而 MoE 模型的参数路由并不是按「主题」机械分架,每次激活哪些参数由训练学到的网络决定,边界远比书架模糊。别把它理解成「问数学就只动数学分馆」,真实机制复杂得多。想往下挖,可以接着读 MoE 里的专家是谁?专家分工的入门解释。

为什么这个数字总跟 MoE 一起出现

激活参数量这个词几乎只在讨论 MoE(混合专家)时出现。稠密模型全员参与计算,激活参数等于总参数,没人特意标注。MoE 把参数拆成若干组「专家」,每个词只路由给少数几组,这才造出了「总参和激活参差距巨大」的现象。DeepSeek 的开源系列就是常被举例的 MoE 模型,它的模型卡上两组数字成对出现;类似地,词表大小也是模型页上容易被误读的独立数字,三个数各管各的事。

挑模型时这张速查表够用

激活参数量速查

  • 模型页只写一个 B 数:多半是稠密模型,激活等于总参。
  • 写成「总参/激活参」两个数:MoE 模型,速度看激活,知识面看总参。
  • 显存紧张:先按激活参数估运行负担,再按权重体积估占用。
  • 想核实数字:以 ModelScope 等仓库的模型卡标注为准。

宣传页爱放大数,跑在你机器上的真实开销,跟着激活参数量走。

最后补一句场景判断:日常问答、写作助手这类在线产品(比如 Kimi、豆包)不暴露这些细节,你只需要知道激活参数量影响的是响应速度;真到了自己部署开源模型的那天,再按这张表逐项核对。

关于激活参数量的三个追问

  • 激活参数量会影响回答质量吗?:它本身不是质量指标,质量取决于总参数、训练数据与训练方法的整体配合,激活参数量更多解释速度和资源开销。
  • 为什么有些 MoE 模型的激活参数比不少稠密模型还大?:设计取向不同,有的追求激活小、跑得快,有的让每次激活的规模更大以换取更强的单步能力,比较时得看它和谁比。
  • 应用里显示的「模型大小」是激活参数吗?:不一定,多数在线服务只给模型名或版本号,具体规格要去模型的发布页查。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]