1991 年，一篇论文提出了”多个专家协同工作”的构想。三十多年后，这个构想成为大语言模型的主流架构。这篇文章聊聊 MoE（Mixture of Experts，混合专家模型）的来龙去脉——它的起源、原理、关键里程碑，以及一个有趣的问题：为什么一项 1991 年就提出的技术，直到 2023 年才真正爆发？是理论太超前，还是科技发展太缓慢？最后，展望 MoE 的未来：它会被什么架构替代，又可能进化成什么形态？
MoE 是什么
MoE 的核心思想可以用一句话概括：模型很大，但每次只用一小部分。
传统大模型（Dense 模型）处理每个 Token 时，所有参数都会参与计算。MoE 则不同——它把模型拆成多个”专家”（通常是多个结构相同的前馈神经网络），再配一个”路由器”（门控网络），让路由器根据输入内容动态选择最合适的几个专家来处理。
打个比方：一家综合医院有上百位医生，但每位患者只需要看其中几位专科医生。MoE 就像这个医院的分诊台——患者来了，分诊台判断该看哪几个科室，而不是让所有医生都来会诊。
| 特性 | Dense 模型 | MoE 模型 |
|---|---|---|
| 总参数量 | N | N（可达 Dense 的数倍） |
| 每次激活参数 | N | n（通常仅 5%-10%） |
| 推理计算量 | 高 | 低（接近同等激活参数的 Dense 模型） |
| 知识容量 | 受限于激活参数 | 受益于巨大的总参数池 |
起源：1991 年的超前构想
1991 年，加拿大滑铁卢大学的 Robert Jacobs、Michael Jordan 和几位同事发表了一篇论文：Adaptive Mixtures of Local Experts。这篇论文的核心想法是：与其训练一个大而全的神经网络，不如训练多个”专家”网络，每个专家只擅长处理输入空间的一个子区域，再用一个”门控网络”来决定每个输入应该交给哪个专家处理。
这个想法在当时是超前的。1991 年的神经网络还处于”寒冬”的尾声——支持向量机（SVM）和随机森林才是机器学习的主角，神经网络因训练不稳定、缺乏大规模数据而被边缘化。MoE 的数学框架虽然优美，但缺乏实践的土壤。
论文： Adaptive Mixtures of Local Experts, Jacobs et al., Neural Computation, 1991
沉寂三十年：不是被遗忘，是在等待
从 1991 年到 2017 年，MoE 在学术界的引用量一直不温不火。这三十年间，它并没有完全消失——在语音识别、手写识别等小众领域，偶尔有研究者尝试 MoE 的变体。但总体而言，MoE 处于”理论正确，工程不可行”的状态。
为什么？因为 MoE 要真正运转起来，需要三个前置条件同时成熟：
条件一：足够的算力。 MoE 的”大参数量”特性意味着模型总参数可能是同性能 Dense 模型的数倍，这对 GPU 显存和集群通信带宽提出了极高要求。2017 年之前，主流 GPU（如 GTX 1080）只有 8GB 显存，连训练一个普通 Transformer 都吃力，更别提承载 MoE 的庞大参数池。
条件二：一个标准化的骨干网络。 MoE 需要”挂载”在一个成熟的架构上才能发挥作用。1991 年没有 Transformer，也没有后来的 CNN、RNN 流行范式。直到 2017 年 Transformer 横空出世，MoE 才找到了最理想的宿主——它可以直接替换 Transformer 中的 FFN（前馈神经网络）层，实现”即插即用”。
条件三：对”规模”的信仰。 2020 年之前，主流研究追求的是”小模型高精度”——用更少的参数达到更好的效果。MoE 的”大参数量”反而是缺点。直到 OpenAI 的 Scaling Law 被发现（2020 年左右），业界才开始相信”参数规模本身就是通往智能的关键路径”。MoE 作为”廉价扩容”方案，终于有了刚需。
这就像 19 世纪的蒸汽机图纸——原理完全正确，但要等到钢铁冶炼、精密加工、铁路系统全部就位，蒸汽机才能真正改变世界。
深度学习融合：Google 的三次关键突破
2017 年到 2021 年，Google Brain/DeepMind 团队将 MoE 从学术概念推向工程可行，完成了三次关键突破。
第一次突破：稀疏门控（2017）
Noam Shazeer（Transformer 论文的共同作者之一）在论文 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 中，首次将 MoE 嵌入深度神经网络。他提出了两个关键创新：
- 稀疏门控：用一个可学习的门控网络对所有专家打分，然后只选择得分最高的 Top-K 个专家参与计算，其余专家”休眠”。
- 噪声 Top-K：在门控分数上加入随机噪声，防止所有输入都涌向少数”热门专家”，保证负载均衡。
这篇论文证明了 MoE 可以在深度网络中稳定训练，并且能以极低的计算成本显著扩大模型容量。
论文： Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Shazeer et al., ICLR 2017
第二次突破：分布式分片（2020）
MoE 的参数量动辄数百亿，单卡根本装不下。Google 的 GShard 论文解决了这个问题：它提出了自动分片策略，把不同专家分布在不同的 GPU/TPU 上，通过高效的通信协议协调计算。GShard 首次将 MoE 模型扩展到 6000 亿参数级别，证明了大规模分布式 MoE 训练的可行性。
论文： GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, Lepikhin et al., 2020
第三次突破：极简路由（2021）
Switch Transformer 论文做了一件反直觉的事：把 Top-K 路由简化为 Top-1——每个 Token 只选择一个专家。这个简化大幅降低了通信开销和实现复杂度，同时引入了专家容量因子（Capacity Factor）来控制每个专家能处理的 Token 数量上限。Switch Transformer 首次触及万亿参数级别，成为后续所有 LLM-MoE 的直接蓝本。
论文： Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, Fedus et al., JMLR 2022
开源引爆：Mixtral 让 MoE 走进大众视野
2021 年的 Switch Transformer 和 2022 年的 GLaM（Google 的另一个 MoE 语言模型）虽然轰动学术界，但有一个致命问题：不开源。普通开发者只能看论文，无法亲手体验 MoE 的威力。大众对 MoE 的印象停留在”巨头的玩具”。
这一切在 2023 年 12 月被彻底改变。法国创业公司 Mistral AI 发布了 Mixtral 8x7B——一个权重完全开放、性能强劲的 MoE 语言模型。它只有约 120 亿激活参数，但在多数基准测试中击败了 Llama 2 70B（一个 700 亿参数的稠密模型）。
Mixtral 的冲击是多维度的：
- 性能震撼：直观展示了 MoE”小算力办大事”的能力。
- 门槛极低：能在消费级显卡（双 3090/4090）上运行，普通开发者第一次亲手跑起了 MoE。
- 生态爆发：发布后数天内，HuggingFace 上涌现出大量量化版本、微调版本和部署教程。
大众的认知在这一刻发生了转折：”原来不用堆满 700 亿参数也能有这么强的效果？”MoE 从论文走向工程实践，从”听说过”变成”用起来”。
论文： Mixtral of Experts, Jiang et al., Mistral AI, 2024
中国力量接力：DeepSeek 让 MoE 成为信仰
如果说 Mixtral 让大众”知道”了 MoE，DeepSeek 则让大众”信服”了 MoE 可以比 Dense 更好。
2024 年 5 月，DeepSeek 发布了 DeepSeek-V2，提出了两个关键创新：
- MLA（Multi-head Latent Attention，多头潜在注意力）：通过低秩压缩大幅减少 KV Cache 的显存占用，让长序列推理更加高效。
- 辅助损失免调优：传统 MoE 需要精心调节辅助损失函数来平衡专家负载，DeepSeek-V2 提出了一种自适应机制，省去了这个超参数调优的痛苦。
DeepSeek-V2 证明了 MoE 不仅能做 Dense 的”平替”，还能通过架构创新实现超越同级 Dense 模型的性价比。在国内，DeepSeek-V2 引发了一波 MoE 跟进潮——Qwen-MoE、GLM-4-MoE 等相继发布，MoE 从”海外新奇事物”变为”国产大模型标配选项”。
2024 年底的 DeepSeek-V3 更进一步：引入 FP8 混合精度训练、Multi-Token Prediction、无辅助损失负载均衡，以极低的算力成本达到顶级性能，成为 MoE 工程化的标杆。
论文： DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, DeepSeek-AI, 2024
全面普及：从另类选择到默认选项
2025 年，MoE 迎来了”巨头背书”的时刻。Meta 在 Llama 4 系列中正式采用 MoE（Maverick 为 128 个专家的 MoE 架构），阿里发布 Qwen3-MoE。当开源领袖都选择 MoE 时，这项技术完成了从”挑战者架构”到”行业默认选项”的身份转变。
MoE 的发展脉络可以用一条时间线来概括：
原理解析：大而稀疏的智慧
MoE 的核心可以拆解为三个组件：
专家网络（Experts）
通常由多个结构相同的前馈神经网络（FFN）组成。每个专家独立学习数据分布的不同子空间——某些专家可能擅长代码，某些擅长多语言翻译，某些擅长数学推理。这种”术业有专攻”的设计，让模型总容量远超单个 FFN 所能承载的极限。
路由器/门控网络（Router/Gating Network）
路由器是 MoE 的”大脑”，负责决定每个输入 Token 应该被发送给哪些专家。它的核心机制是 Top-K 选择：对所有专家计算一个亲和度分数（通常是线性变换 + Softmax），然后只选择得分最高的 K 个专家（通常 K=1 或 K=2），其余专家不参与计算。这就是”条件计算”（Conditional Computation）的精髓——根据输入内容动态决定计算路径。
负载均衡是路由器设计中最棘手的问题。如果所有 Token 都涌向少数”热门专家”，其他专家就会闲置，模型退化为一个更小的 Dense 模型。传统方案是引入辅助损失函数（Auxiliary Loss）来惩罚负载不均，但这个损失需要精心调节。DeepSeek-V2 提出的”无辅助损失负载均衡”是目前最先进的方案。
加权聚合
被选中的 K 个专家分别对输入进行独立计算，最终输出是这 K 个专家输出的加权和，权重由路由器的 Softmax 分数决定。这个设计保证了梯度可以顺畅地从输出回传到路由器和专家网络，使整个系统可以端到端训练。
打个比方：想象一个咨询公司有 100 位顾问（专家），每位顾问专精不同领域。客户来了（输入 Token），前台（路由器）根据客户需求匹配最合适的 2 位顾问。两位顾问各自给出方案，最后按匹配度加权融合成最终建议。公司总共有 100 位顾问的知识储备，但每次咨询只需要 2 位参与，成本极低。
为何落地这么久：理论太先进还是科技太慢
回到文章开头的问题：1991 年提出的 MoE，为什么直到 2023 年才真正爆发？是理论太超前，还是科技进步太缓慢？
答案是：两者都不是，而是技术落地需要”时代的对齐”。
MoE 的核心机制——门控网络 + 多专家协作——在 1991 年就是完备的。但一项技术从”数学概念”变成”工程可行”再到”产业主流”，需要同时满足三个条件：
- 基础设施就绪：GPU 集群、高速互联（NVLink/InfiniBand）、分布式训练框架（PyTorch FSDP、DeepSpeed）——这些是 MoE 的”钢铁和铁路”。
- 架构载体出现：Transformer 是 MoE 最理想的宿主，它的 FFN 层可以无缝替换为 MoE 层。没有 Transformer，MoE 就像没有轮子的蒸汽机。
- 需求驱动：Scaling Law 的发现让”参数规模”成为通往智能的核心路径，MoE 作为”廉价扩容”方案才有了刚需。2020 年之前，业界追求”小模型高精度”，MoE 的”大参数量”反而是缺点。
中间三十年并非空白。2017-2022 年间，Google 内部一直在迭代 MoE（GShard → Switch → GLaM → ST-MoE），只是多数成果未及时开源或发表，外界感知滞后。MoE 不是”被遗忘了 30 年”，而是等待了 30 年。
一项技术的落地速度，取决于它何时与时代的算力、架构和需求完成对齐。MoE 的故事，是这个规律的完美注脚。
未来展望：MoE 会被替代吗
MoE 不太可能被单一架构完全”替代”。更可能的走向是与其他架构深度融合，最终形成一种新的统一范式。以下是几个值得关注的方向：
SSM + MoE：已经发生的融合
状态空间模型（SSM，如 Mamba）以其线性推理复杂度成为 Transformer 的有力竞争者。但 SSM 不会替代 MoE，而是与 MoE 结合。AI21 Labs 的 Jamba（2024）是第一个大规模落地的 Transformer-Mamba-MoE 混合模型——它交替堆叠 Transformer 块和 Mamba 块，并在部分层加入 MoE，单卡即可装下 520 亿参数模型，支持 256K 上下文。MoE-Mamba 进一步验证：将 MoE 叠加到纯 Mamba 上，训练效率提升 2.35 倍，同时保持 Mamba 的推理优势。
SSM 与 Attention 的理论统一
Tri Dao 和 Albert Gu 的 Mamba-2（2024 ICML）提出了 State Space Duality (SSD) 框架，证明 SSM 和 Attention 本质上是同一类数学结构的两个视角。这意味着 MoE 作为”计算容量扩展”的通用手段，未来可以无缝绑定到这个统一框架上，无论底层是 Attention 还是 SSM 层。
RWKV：线性复杂度 RNN 的复兴
RWKV 结合了 Transformer 的并行训练能力和 RNN 的 O(1) 推理复杂度，已扩展到 140 亿参数。它的设计天然适合与 MoE 结合——用 MoE 扩展 RWKV 的 FFN 层，可以在不增加推理复杂度的前提下大幅扩展模型容量。
MoE 自身的极致演进
MoE 内部也在深刻进化。DeepSeekMoE 提出了细粒度专家切分（把 N 个专家拆成 mN 个，激活 mK 个，实现更灵活的组合）和共享专家隔离（抽取专门捕获公共知识的专家，消除路由专家间的冗余）。未来的方向包括：动态专家数量激活（不同 Token 激活不同数量的专家）、专家间层次化组织（树状/图状路由而非扁平路由）。
稀疏注意力与动态网络
稀疏注意力（如 Ring Attention、Flash Attention）更像是一种工程优化而非架构替代，它让标准 Transformer 能处理更长上下文，削弱了 SSM 在长序列上的独占优势。动态网络/条件计算则超越了 MoE 的”选专家”范式，走向更细粒度的 Token-level 路由——每一层甚至每个子模块都可以动态决定计算量和路径。这可以理解为 MoE 的自然推广。
| 方向 | 替代 MoE？ | 与 MoE 融合？ | 短期可行性 |
|---|---|---|---|
| SSM/Mamba | ❌ 不替代 | ✅ 已验证 (Jamba, MoE-Mamba) | 高 |
| RWKV | ❌ 不替代 | ✅ 理论可行 | 中 |
| SSM+Attention 统一 (Mamba-2) | ❌ 不替代 | ✅ 统一框架上叠加 MoE | 中高 |
| 稀疏注意力 | ❌ 不替代 | ✅ 互补优化 | 高 |
| 动态网络/条件计算 | ⚠️ 可能演化 MoE | ✅ 是 MoE 的超集 | 中 |
核心判断：MoE 不会被替代，而是会作为容量扩展的通用原语融入所有新兴架构中。 真正的演进方向是：Mamba-2/SSD 统一框架 + MoE 动态容量 + 稀疏注意力精确检索的三层融合体。Jamba 已经是这个方向的早期实例。
全景回顾
1991 ──────────────────────────────────────────────────────── 2025+
│ │
│ 理论诞生 │
│ (Jacobs et al.) │
│ │ │
│ ▼ │
│ ┌─────────────────┐ │
│ │ 沉寂期 (26年) │ 缺少：算力、Transformer、Scaling Law │
│ └─────────────────┘ │
│ │ │
│ ▼ │
│ 稀疏门控 (2017) ──→ 分布式分片 (2020) ──→ 极简路由 (2021) │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ Google 内部迭代期 (2017-2022) │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 开源引爆 (2023 Mixtral) ──→ 中国力量 (2024 DeepSeek) │
│ │ │ │
│ ▼ ▼ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 全面普及 (2025 Llama 4) │ │
│ └─────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 未来：MoE + SSM + 稀疏注意力 融合架构 │◄──┘
│ └─────────────────────────────────────────────────────┘MoE 的故事是一个关于”等待”的故事。1991 年的那篇论文像一粒种子，落在了贫瘠的土壤里。三十年间，算力在增长，Transformer 在孕育，Scaling Law 在被发现——这些看似无关的技术进步，最终在 2023 年完成了”时代的对齐”。种子破土而出，迅速长成参天大树。
未来，MoE 大概率不会被替代，而是会像”稀疏激活”这个思想本身一样，融入所有新兴架构的血液中。它可能不再被单独称为”MoE”，但”按需激活、动态路由”的理念，将成为下一代 AI 系统的底层直觉。
