E-MoE：面向非因子化扩散语言模型的增强型混合专家架构

E-MoE提出将反向生成过程构建为基于MoE骨干网络专家路由决策的离散共享隐变量上的因子化分布混合，在不增加活跃参数的前提下提升少步生成质量。在合成多模态基准、二值化MNIST和LM1B上，E-MoE均优于因子化基线模型，缓解了掩码扩散模型在少步场景下因位置因子化导致的样本质量限制。