研究揭示近零 token 嵌入会使门控序列模型训练静默停滞
Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
arXiv 论文调查 291 个开源权重模型仓库，发现 52.6% 的 untied 门控/混合模型 checkpoint 存在范数低于 10^-6 的近零嵌入行，而 weight-tied 模型为 0%。
来源：Hugging Face Daily Papers · arxiv.org