MoE 混合专家：参数大、计算省
本文基于模型知识整理（生成时未联网核对），路由与负载均衡细节建议对照 Shazeer 2017、Switch Transformer 与 Mixtral 论文复核。
一句话定义
MoE（Mixture of Experts）把 Block 里的 FFN 替换成"N 个专家 FFN + 一个路由器"：每个 token 只被路由到 top-k（常 2）个专家计算——总参数巨大（所有专家之和）、每 token 计算量小（只激活 k/N）；Mixtral 8×7B 即"47B 参数、13B 激活"的稀疏大模型。
为什么重要
它打破"参数↑=计算↑"的绑定：在固定算力预算下堆出数倍参数（知识容量），是前沿模型（GPT-4 传闻/Mixtral/DeepSeek-V3）的主流选择。同时 MoE 引入全新工程难题——路由不均、显存吃满、训练不稳——理解 MoE 就是理解前沿模型工程的新战场。
前置知识
kp-008（FFN=知识存储器——MoE 替换的对象）、kp-013/014（训练稳定性与优化）。
核心概念
- 结构：每层 MoE = 路由器（对每 token 输出 N 专家的打分，softmax/Top-K 选择）+ N 个专家 FFN；输出=被选专家输出的加权和（权重=路由分数）。注意力层通常共享（只 MoE 化 FFN，kp-008 的位置）。
- 稀疏激活的账：Mixtral 8×7B——8 专家×7B/专家≈47B 总参数，每 token 只算 2 专家≈13B——容量像 47B、推理像 13B；代价：全部专家必须常驻显存（显存像 47B）——"算力省、显存贵"的权衡签名。
- 负载均衡损失：路由器天然"偏心"（少数专家被频繁选中 → 其余荒废）——辅助损失惩罚路由分布的不均（Switch：每专家 token 数超限即罚）；容量因子（每专家 token 缓冲上限）+溢出丢弃是工程细节重灾区。
- 训练不稳定：路由是离散选择（不可微）→ 用 top-k 软化/加噪声；专家间梯度不均 → 崩溃模式（路由坍缩到单一专家）需要辅助损失+精细初始化+Z-loss（kp-013 的稳定性全家桶在此加码）。
- 专家分工的可解释性：Mixtral 分析显示专家分工并非按"主题"（不是语法专家/数学专家），而是按 token 身份与位置（如标点/数字/缩进各有偏好的专家）——"专家=主题专家"是流行误解。
原理与机制
为什么"稀疏激活"能两全：模型容量由总参数决定（知识存储上限），推理成本由激活参数决定（每 token 走的路径）——MoE 把两者解耦：加专家=加书架不加大灯（灯只照被选中的两排）。这是 kp-008"FFN=知识存储"的直接放大器：知识分架、按需取阅。
路由器的训练悖论：路由决策影响专家收到的梯度，专家梯度又影响路由学习——鸡生蛋困境。解法演进：软混合（全专家加权，N 小时可行 kp-008）→ 硬 Top-K+噪声探索（Shazeer）→ Switch 的 top-1+负载均衡损失（简洁派）→ Mixtral 的 top-2（容量与质量的工业平衡）。
推理工程的新账本：MoE 推理的瓶颈是显存容量与专家调度（batch 内 token 命中不同专家 → 逐专家 gather/scatter 的通信）——分布式下"专家并行"（不同专家驻不同卡）成为 kp-026 并行策略家族的新成员；本地部署的"显存墙"是 MoE 普及的最大阻力。
图示
Block内: Attention(共享) + MoE层
MoE层: token → 路由器打分 → Top-2专家 → 加权和
账本: 参数=Σ专家(47B) ; 每token计算=Top-k(13B)
显存=全专家常驻 (贵!)
难点: 路由偏心→负载均衡损失 | 离散不可微→top-k软化
| 训练崩塌→初始化+z-loss | 专家并行(通信)
真相: 专家按token身份分工 (非主题专家)直观类比
MoE 像"大型医院分诊"：医院有 8 个科室（专家）、每个病人（token）由分诊台（路由器）送到最合适的 2 个科室——医院总面积巨大（参数）、每个病人只占用 2 个诊室（计算）。难点是"分诊要公平"（不能全挤骨科）与"科室都得建齐"（显存都得常驻）。
实例或案例
- Mixtral 8×7B：开源 MoE 标杆——13B 激活达到/超过 30B+ 稠密模型质量。
- Switch Transformer：top-1 路由的极简主义（Google，万亿参数）——稀疏性的极端演示。
- DeepSeek-V3：256 专家+细粒度+共享专家的当代工程巅峰——MoE 配方的前沿样本。
常见误区
- 误区一："MoE 参数 47B=能力相当于 47B 稠密模型"。激活 13B 决定每 token 计算与表达深度；通常能力介于其激活规模与总规模之间（但优于同激活稠密）——两把尺子都不能丢。
- 误区二："专家=领域专家（数学专家/ coding 专家）"。token 级路由与 token 身份强相关（标点/词性），"主题路由"只在极粗粒度出现——分工误解的流量最大区。
- 误区三："MoE 节省显存"。省计算不省显存——所有专家常驻；显存受限的本地部署反而更适合稠密小模型。
与其他知识点的关系
自测题
- Mixtral 8×7B 的"8×7B"与"13B 激活"分别指什么？
答：8 个专家各约 7B 总参数约 47B；每 token 只路由激活 2 个专家≈13B 计算——容量与计算解耦。
- 负载均衡损失解决什么问题？
答：路由器偏心导致少数专家过载、其余荒废（路由坍缩）——辅助损失惩罚路由分布不均，保住稀疏容量的有效性。
- 为什么 MoE 的显存成本像总参数？
答：任何 token 都可能路由到任何专家——全部专家权重必须常驻显存待命；稀疏的是计算不是存储。
延伸阅读
- Shazeer 等, "Outrageously Large Neural Networks"（2017，稀疏 MoE 复兴）。
- Fedus 等, "Switch Transformers"（2021，top-1 路由）。
- Jiang 等, "Mixtral of Experts"（2024，开源工业范本）。