LatentLoop 提出非对称计算分配优化循环 MoE

2026年10月14日，Hugging Face Daily Papers 报道了 LatentLoop 方法：它通过压缩循环 MoE 模型第一次循环的序列、在第二次保留全分辨率，并把省下的计算转给隐藏层维度，以降低验证 NLL。报道称，在 1.3B–7B 参数、最大预算超 10^21 FLOPs 的 15 组配置中，拟合 NLL 为 1.988 时，相对原生 MoE 和循环基线分别预测节省 19.0% 和 7.9% 计算，并在 9 个基准的 0-shot 与 5-shot 设置下全面提分。目前该工作处于论文发布阶段，尚无后续复现或应用进展的报道。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。