AI 大模型动辄几千亿参数，回答问题时却并不是把全部参数统统用上一遍。混合专家（MoE）架构给模型内部安排了「分工」：模型里住着许多专家网络，每个词块进来，先由一位「分诊台」判断该找谁，只叫相关专家上场，其余专家这次歇着。这样模型的总容量可以做得很大，每次回答的计算量却保持克制。这篇讲清 MoE 的分工结构、稀疏激活的机制怎么运转，以及省下来的算力去了哪里。
把模型想成一家分科医院
MoE 里的「专家」并不是真的有学科编制的大夫，而是多组并行的前馈网络，每一组算一位专家；负责分诊的环节叫路由器。文本的每个词块进来，路由器给所有专家逐个打分，挑出得分最高的两三位，把词块交给他们处理，其余专家这一站不参与。这就是「混合」两个字的含义：同一层里混着多位专家，具体由哪几位出工，逐词块现场决定，不走固定排班。专家内部的层数与配比怎么设计，专家网络一篇有细拆；本篇先把分工与调度的直觉立起来。
稀疏激活：每次只动员一部分
「每次只激活一部分」在术语里叫稀疏激活。可以拿图书馆打比方：全馆藏书百万册，你借一次书只翻其中三五本，馆越大可选的越多，单次借阅的力气却没怎么涨。MoE 的参数同理——总参数量好比馆藏，决定模型「懂多少」；每次真正动用的那部分叫激活参数量，决定「单次花多少算力」。两个数字要分开看，宣传里的「几千亿参数」指前者，实际每一步的计算量对应的是后者。稀疏的思路在别的部件里也有近亲：注意力里的稀疏注意力同样是挑重点算，但省的是注意力的账，MoE 省的是前馈网络的账。它与模型剪枝更不能混为一谈：剪枝是把不重要的参数永久删掉，删了就没了；MoE 的专家一个都没删，只是轮流出工。两条路的差别，稀疏与剪枝一篇做过对照。
容量与速度怎么兼得：一笔账
稠密模型像一家什么病都自己看的全科诊所：规模越大，每个病人占用的资源越多。MoE 像医院分科：楼可以盖得很大，每个病人只占用接诊科室的资源，候诊的人再多也不必全体医护陪跑。这就是 MoE 的核心账本：把总参数堆上去换容量，把激活参数控制住保速度。代价同样真实：所有专家都得驻在显存里，推理省的是计算、省不了显存；想把大模型塞进有限的卡，通常还要配合量化这类降显存的手段，机制见量化一篇。训练侧也有讲究：专家与路由器要边训边学会配合，配合不好会出现冷热不均——少数专家忙、多数专家闲，堆的容量等于白给，负载均衡机制就是用来治这个的。稠密与 MoE 两条路线各自适合什么场景，稠密与混合专家一篇做过取舍对照。
| 对照维度 | 稠密模型 | MoE |
|---|---|---|
| 结构 | 全科诊所，什么病都自己看 | 分科医院：多位专家网络加一个路由器，逐词块分诊 |
| 单次计算 | 参数全部参与 | 只叫得分最高的两三位专家上场，其余歇着 |
| 训练与代价 | 规模越大，每个病人占用的资源越多 | 专家全驻显存、省计算不省显存；冷热不均靠负载均衡治 |
专家真的术业有专攻吗
直觉上专家应该一个管数学、一个管诗词，实际观察下来并非如此工整。研究者翻看各专家处理的词块，发现分工更像是对语言不同「侧面」各有所敏感——有的接住了标点与格式，有的偏向代码语法，边界模糊，也很难用一句人话描述清楚。原因在于路由器看的是统计特征，不是人类给的科目表；专家的分化是训练中自发长出来的，没有人事先布置任务。所以别把 MoE 想象成一个委员会在开会讨论，它更像一条流水线上并排的多套模具，来料按统计规律落到哪套，就由哪套压型。大模型参数量一路膨胀的来龙去脉，见参数量增长一篇，MoE 正是这条路上「容量堆不动、分摊来凑」的工程答案。想让两个指标变得具体，可以让豆包查主流开源大模型里哪些用了 MoE 架构，把总参数量与激活参数量各记一笔，再让 DeepSeek 解释为什么两家宣传口径常常只报其中一个。
混合专家速查
- 结构：多个专家网络加一个路由器，路由器逐词块分诊
- 稀疏激活：总参数量是馆藏，激活参数量是单次借阅
- 账本：总参数换容量，激活参数保速度
- 代价：省计算不省显存，专家分工由训练自发形成
- 定位：容量与速度的折中，参数一个没删
关于混合专家的三问三答
- 专家数量越多越好吗？：并非如此。专家多、每位更小，总参数可以堆得更大，但路由难度、显存占用与冷热不均的风险同步上升；主流配置多在个位数到几十位之间，怎么配平见专家网络一篇的拆解。
- MoE 模型一定比稠密模型快吗？：单次计算量确实小，但要先把全部专家装进显存，路由本身也有开销；显存吃紧或批量很大时，瓶颈可能在别处。两条路线的适用场景见稠密与混合专家一篇。
- 为什么有的专家总被调得更勤？：路由器按统计特征打分，天然有偏好，训练中若放任不管就会冷热不均；负载均衡的约束会把调用量往均匀的方向拉，让堆出来的容量真正被用上。
