Tag: Sparse Activation

All the papers with the tag "Sparse Activation".

• The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts

  grok-3-latest

  Score: 0.60

  Published:2025年5月11日 at  at 04:35

  #MoE, #Granularity, #Expressivity, #Scaling Laws, #Sparse Activation

  本文通过理论证明和实验验证，揭示了混合专家模型中高粒度显著提升表达能力，为未来高效模型设计提供了重要理论依据。