Summary: 本文通过理论证明和实验验证，揭示了混合专家模型中高粒度显著提升表达能力，为未来高效模型设计提供了重要理论依据。
Keywords: MoE, Granularity, Expressivity, Scaling Laws, Sparse Activation
Authors: Enric Boix-Adsera, Philippe Rigollet
Institution(s): MIT Mathematics, Harvard CMSA
Problem Background
混合专家模型（Mixture of Experts, MoE）是前沿大型语言模型架构的重要组成部分，通过选择性激活参数实现参数规模扩展与计算成本控制的平衡。 然而，关于 MoE 层设计中‘粒度’（Granularity，即每个输入 token 激活的专家数量）的最优选择，学术界和工业界尚未达成共识，不同模型（如 DeepSeek-V3 激活 8 个专家，Llama-4 仅激活 1 个）差异显著。 本文旨在解决这一关键问题：粒度如何影响 MoE 模型的表达能力（Expressivity），从而为高效模型设计提供理论依据。
Method
- 核心思想： 作者通过理论分析证明，MoE 层的粒度（即激活专家数量 k）对模型表达能力有指数级影响，高粒度模型能表达更复杂的函数，无法被低粒度模型近似，即使两者激活参数数量相同。
- 理论证明：
- 针对常数激活函数（σ(t)=1），作者构造了路由网络，将输入空间划分为大致均衡的区域（对应专家配置组合 C(m, k)），并设计专家输出为常数向量，确保不同配置下输出差异显著，证明高粒度模型生成的函数无法被低粒度模型以 L2 范数近似。
- 针对线性激活函数（σ(t)=t），作者进一步考虑专家为线性变换，基于高概率输入子集的协方差矩阵高秩特性，证明高粒度模型生成的线性函数组合在输入空间中具有更高复杂性，无法被低粒度模型近似。
- 针对 ReLU 激活函数（σ(t)=max(0,t)），作者通过构造依赖不同高秩子空间的专家，证明高粒度模型在不同区域依赖不同子空间，无法被依赖单一低维子空间的低粒度模型近似。
- 技术细节：
- 路由网络构造：采用随机化方法，确保输入空间被划分为 C(m, k) 个概率质量均衡的区域，每个区域对应一种专家激活配置。
- 专家设计：通过随机矩阵构造，确保不同专家配置下输出函数在 L2 范数上显著分离。
- 实验验证： 设计学生模型学习随机教师模型的实验，验证理论结果在实际尺度下的适用性。
Experiment
- 有效性： 实验结果与理论预测一致，在固定激活参数数量的情况下，高粒度学生模型（例如 16 专家中激活 8 个）能够有效学习高粒度教师模型，而低粒度学生模型（例如 4 专家中激活 2 个）损失显著更高，表明高粒度确实提升了表达能力。
- 全面性： 实验设置覆盖了不同粒度（从 2 到 16）和不同总参数规模（学生模型参数量可达教师模型的 16 倍），输入维度为 d=256，教师模型激活参数约 65K，学生模型略微过参数化（约 82K），优化较为合理。
- 局限性： 实验规模较小，未完全反映实际大模型（如百亿参数级别）的复杂性，且未考虑训练和推理的实际计算成本（如路由开销），但足以验证理论结果在中等规模下的适用性。
Further Thoughts
论文揭示了粒度在 MoE 模型设计中的核心作用，启发我们未来在设计大型语言模型时，可以优先探索高粒度架构以提升表达能力，同时需要研发更高效的路由机制和硬件支持以降低通信开销。 此外，MoE 的稀疏激活与人脑功能分区的相似性提示我们，或许可以从神经科学中汲取灵感，设计更接近生物机制的模型架构，例如基于任务特异性动态调整粒度。