MoE（Mixture of Experts，混合专家）是越来越多大模型采用的一种架构。它的核心思路一句话就能说清：把一个大模型拆成很多个「专家」子网络，处理每个请求时只激活其中一部分，而不是每次都动用全部参数。这样做的直接好处是用更低的算力做出更大的模型规模——但「更大」不自动等于「更聪明」，本文把它拆开讲清楚。
路由决定叫哪几个专家
MoE 模型里，参数被分成若干组，每组可以看作一个「专家」子网络。输入进来后，先经过一个「路由」（router），由它给每个专家打一个相关度分数，再决定这次调用哪几个专家参与计算。被选中的专家输出结果，未被选中的专家这次完全不计算。所以「总参数量」和「单次实际计算量」在 MoE 里是两回事，这是理解它的关键钥匙。
这个路由本身也是训练出来的，不是一个写死的规则。训练过程中，路由和专家一起学习：既要让专家各有所长，又要让路由学会「什么样的问题该派给谁」。路由学得不好，就会出现专家失衡——少数几个专家被反复调用，其余闲置，模型的实际能力打折。
它和传统稠密模型差在哪
| 对比维度 | 传统稠密模型 | MoE 模型 | 结果上的差别 |
|---|---|---|---|
| 每次回答的计算 | 全部参数都参与 | 只激活一部分专家 | 单次算力更省 |
| 总参数量 | 受单次算力限制 | 可以做得更大 | 同等算力下规模更大 |
| 显存占用 | 只需装下全部参数 | 所有专家都得装得下 | 部署显存更高 |
| 训练复杂度 | 相对简单 | 路由需要额外学习 | 训练更难调 |
这张表能解释一个反直觉的现象：MoE 推理时算得更省，部署时却更吃显存——因为虽然每次只激活部分专家，但所有专家都要常驻在显存里随时待命。
为什么越来越多模型在用它
驱动 MoE 普及的主要是成本账，而不是「更强」的承诺。其一，同样算力下能做更大：总参数可以大幅提升，而单次推理只付出其中一部分的计算，这是提升模型容量上限的经济手段。其二，推理更省：单次回答的活跃参数少，在服务端意味着更低的单次成本和更快的响应。其三，扩展更灵活：想扩大模型容量，增加专家数量比整体放大一个稠密模型更可控。
要注意的是，「越来越多模型在用」描述的是一个趋势，具体到某个产品用了什么架构、参数量多少，需要以官方披露的最新信息为准，不宜凭模型名去猜。
它的代价与失效点
MoE 有几个绕不开的代价。训练更复杂：路由和专家的联合训练不稳定，专家负载不均衡是常见问题，需要额外的技巧去压制。显存占用高：活跃参数少不代表省显存，全部专家都要装得下，这对本地部署是实打实的门槛。而且它并不等于更强：架构只是手段，最终效果仍取决于数据质量和训练投入，一个调得不好的 MoE 可能还不如一个调得好的稠密模型。
还有一个必须点破的失效点：那个「专家会诊」的比喻。现实里的专家有明确科室——内科、外科、儿科分工清晰；但 MoE 的「专家」并不对应某个具体领域，它是训练中自发形成的，人类很难解释每个专家到底负责什么。所以别把「专家」当真专家，它更接近「参数被分成了若干组」。
看懂 MoE 的三个判断
- 看到「MoE」别自动理解为「更聪明」，它首先是「用更低成本做更大规模」的工程选择
- 总参数大不等于单次计算大，活跃参数才是推理成本的直接来源
- 部署看显存、训练看难度，好不好用最终要落到实际表现上
MoE 是构建在 Transformer 基础上的扩展，先理解Transformer 架构再回头看它会更顺。它带来的显存与权重存储问题，也和safetensors 权重格式讨论的加载与安全话题同源。「专家行为难以解释」这一点，本质上是模型可解释性难题的一角，AI 对齐里对模型行为与目标的讨论可以提供更多背景。
