LatentLoop：用非对称计算分配扩展循环 MoE 模型
LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
LatentLoop 通过压缩循环 MoE 模型第一次循环的序列、在第二次保留全分辨率，并把省下的计算转给隐藏层维度，从而降低验证 NLL。在 1.3B–7B 参数、最大预算超 10^21 FLOPs 的 15 组配置中，拟合 NLL 为 1.988 时相对原生 MoE 和循环基线分别预测节省 19.0% 和 7.9% 计算，并在 9 个基准的 0-shot 与 5-shot 设置下全面提分。
来源：Hugging Face Daily Papers · arxiv.org