**Q35：MoE Routing Collapse 怎么防
1️⃣ 考察意图
面试官想考察你对 MoE 训练稳定性的实战理解，而非单纯背诵概念。核心是区分“理论方法”与“工程落地”的取舍。刁钻点在于：候选人常只提辅助损失（auxiliary loss），但面试官真正想看的是对 collapse 根因的洞察——是路由网络过拟合、初始化不平衡，还是专家容量设计不当？答好了能展示你在大规模稀疏模型训练中的系统调优能力和对训练动态的直觉，这是训练千亿级 MoE 模型（如 DeepSeek-V2、Mixtral）的核心硬实力。
2️⃣ 标准答
问题定义：Routing Collapse 指 MoE 中部分专家被过度激活（如 top-2 路由中 80% 流量集中在 2 个专家），其余专家“饿死”，导致模型容量浪费、训练不稳定。
预防方法分三层：损失函数、容量控制、训练技巧。
- 辅助损失（Auxiliary Loss）：最主流方案。
- Load Balancing Loss（Switch Transformer 提出）：对每个 token 的 router 概率计算均匀分布交叉熵，鼓励专家被均匀选择。公式：
α * N * Σ(p_i * f_i)，其中p_i是专家 i 的平均路由概率，f_i是专家 i 被选中的频率。坑：α 系数过大（>0.01）会压制路由网络学习能力，导致模型容量下降；过小（<0.001）则无效。工程经验：α 从 0.01 开始，观察专家利用率标准差，若 >0.3 则逐步调大。 - Z-Loss（Switch Transformer 改进版）：对 router logits 施加 L2 正则化，防止 logits 绝对值过大导致 softmax 输出极端。公式：
β * 1/N * Σ(logits_i²)。取舍：Z-Loss 比 Load Balancing Loss 更稳定，因为它不直接干预路由分布，而是限制 logits 范围，适合与动态容量配合使用。 - Expert Choice Routing（Google 2022 论文）：反转路由逻辑——每个专家选择 top-k 个 token，而非 token 选专家。天然保证负载均衡，但牺牲了 token 的确定性分配，可能引入信息丢失。
- 专家容量控制（Expert Capacity）：工程上最直接的手段。
- 设定每个专家每批次处理的 token 上限（如
capacity = tokens_per_batch / num_experts * capacity_factor）。容量因子（capacity_factor） 通常设为 1.0-1.25。坑：容量因子 <1.0 会导致 token 被丢弃（dropped tokens），影响模型质量；>1.5 则失去负载均衡意义。 - 随机路由（Noisy Top-K Routing）：在 router logits 上添加高斯噪声（标准差 0.01-0.1），打破早期训练中路由网络的“路径偏好”。取舍：噪声过大（>0.1）会破坏路由质量，导致训练不稳定；过小无效。建议在训练前 10% 步数使用噪声，之后衰减至 0。
- 训练技巧：预防 collapse 的“隐形防线”。
- 专家初始化：使用正交初始化（orthogonal init）或 Xavier 初始化，确保所有专家在训练初期有相似的激活分布。实际落地的坑：如果专家参数初始化范围差异大（如某些专家权重接近 0），路由网络会迅速“锁定”激活值高的专家，导致 collapse 在 100 步内发生。
- 梯度裁剪（Gradient Clipping）：对每个专家的梯度独立裁剪（norm=1.0），防止某个专家因梯度爆炸而“垄断”路由。取舍：全局裁剪会误伤小梯度专家，独立裁剪增加计算开销（约 5%），但能明显提升稳定性。
- 学习率调度：使用 warmup + cosine decay，warmup 步数占总步数 5-10%。原因：路由网络在训练初期极度敏感，过大的学习率会放大初始化不平衡，加速 collapse。
评估指标：专家利用率标准差（std of expert utilization）<0.2 为健康；负载均衡度（load balance ratio）>0.9 为良好。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从损失函数、容量控制、训练技巧三个层面回答。损失函数层面，核心是 Load Balancing Loss 和 Z-Loss，前者直接干预路由分布，后者限制 logits 范围，我倾向 Z-Loss 因为更稳定；容量控制层面，设定专家容量因子 1.0-1.25，配合随机路由噪声；训练技巧层面，专家正交初始化、独立梯度裁剪、warmup 学习率调度缺一不可。总结一句：防 collapse 不是单一技巧，而是损失函数、容量设计、训练策略的协同工程。”
4️⃣ 高频追问 & 应对
追问 1：Load Balancing Loss 的 α 系数怎么调？有没有经验值？
经验值：α 从 0.01 开始，每 500 步观察专家利用率标准差。若标准差 >0.3，α 翻倍至 0.02；若标准差 <0.1 但模型 loss 不降，α 减半。取舍：α 过大（>0.05）会强制均匀分配，但 MoE 本质是让专家 specialize，过度均衡反而降低模型容量。实际项目中，α 在 0.005-0.02 之间最优，且建议在训练中期（20% 步数后）衰减至 0.001，让路由网络自由探索。
追问 2：如果用了 Expert Choice Routing，还需要 Load Balancing Loss 吗？
不需要。Expert Choice Routing 天然保证每个专家处理相同数量的 token，负载均衡是硬约束。但它的代价是 token 可能被多个专家重复处理（overlap），导致计算量增加约 20%。取舍：如果对推理延迟敏感（如在线服务），建议用传统 Top-K + Load Balancing Loss；如果对训练稳定性要求高（如预训练），Expert Choice Routing 更优。实际案例：GLaM 模型用 Expert Choice 时，训练收敛速度提升 15%，但推理吞吐下降 10%。
追问 3：训练中突然出现 collapse（专家利用率标准差从 0.2 跳到 0.8），怎么快速恢复？
三步应急：1）立即降低学习率至 1/10（如从 3e-4 降到 3e-5），防止路由网络继续“锁定”错误路径；2）在 router logits 上增加高斯噪声（std=0.05），打散当前路由分布；3）对利用率最高的专家施加梯度裁剪（norm=0.5），限制其更新幅度。工程经验：如果 500 步内未恢复，建议回滚到 checkpoint 并重新 warmup，因为 collapse 后的路由网络可能已陷入局部最优，难以逆转。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提 Load Balancing Loss，认为它是“万能药” → ✅ 必须说明 Loss 的局限性：α 系数难调、过度均衡会损害专家 specialization，并补充容量控制和训练技巧。
- ❌ 说“专家容量越大越好，避免 token 被丢弃” → ✅ 容量因子过大会导致负载不均，collapse 加剧；正确做法是容量因子 1.0-1.25，配合随机路由和 loss 约束。
- ❌ 忽略训练技巧，只谈损失函数 → ✅ 面试官期望你展示对训练动态的理解：初始化、梯度裁剪、学习率调度是预防 collapse 的“隐形防线”，比损失函数更基础。
6️⃣ 简历呼应
- 如果你有 MoE 预训练项目：从“训练稳定性调优”角度切入，强调你如何通过 Z-Loss + 独立梯度裁剪将专家利用率标准差从 0.6 降到 0.15，并给出具体 α 系数和容量因子。
- 如果你只做过传统 Transformer 训练：用“过拟合类比”迁移——MoE 的路由 collapse 类似于传统模型中的“神经元死亡”（dead ReLU），本质是参数更新不平衡。强调你对训练动态的理解，如梯度裁剪和初始化技巧。
- 如果你是校招无项目：聚焦论文复现——在 4 专家小模型上复现 Switch Transformer 的 Load Balancing Loss，并对比 Z-Loss 和 Expert Choice Routing 的效果，展示你对论文细节的掌握。
- Switch Transformer: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity（Google, 2021）
- GLaM: Efficient Scaling of Language Models with Mixture-of-Experts（Google, 2022）
- Mixtral of Experts（Mistral AI, 2024）
- Expert Choice Routing: A Better MoE Routing Strategy（Google, 2022）
- DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model（DeepSeek, 2024）