SMELT：计算量匹配下 MoE 循环 Transformer 的缩放定律
SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究提出 SMELT（Sparse MoE Transformer, middle layers Loop Twice），将 MoE Transformer 中间一半层循环两次，在每 token FLOPs、非嵌入参数量和 KV cache 三项预算与未循环基线匹配的前提下扩展至 54B 非嵌入参数。
来源：Hugging Face Daily Papers · arxiv.org