SplitMoE：用分角色稀疏架构打破视频扩散模型的均匀性陷阱

针对传统 token-wise MoE 因均匀专家使用正则化导致的"均匀性陷阱"，研究者提出 SplitMoE 分角色稀疏架构，将专家池拆分为语义专家与通用专家，配合原型引导路由和 pull-push 正则化。在同等激活参数预算下，SplitMoE 在收敛速度、路由一致性和视频生成质量上均优于传统负载均衡 MoE，该工作已被 NeurIPS 2026 接收为 Spotlight 论文。