AI2 发布 EMO：预训练混合专家实现涌现模块化

AI2 发布 EMO，一个 1B 激活、14B 总参数（8 专家激活、128 专家总量）的混合专家模型，在 1 万亿 token 上端到端预训练，让模块化结构直接从数据中涌现。保留 25% 专家时各基准平均性能只下降约 1%，仅保留 12.5% 专家时平均下降约 3%，而同等架构的标准 MoE 在相同子集设置下明显退化。团队同时开源了 EMO 模型、同等数据的标准 MoE 基线和训练代码。