近零Token嵌入致门控模型训练停滞

2026年11月3日，arXiv 一篇论文经 Hugging Face Daily Papers 报道，调查了 291 个开源权重模型仓库，发现 52.6% 的 untied 门控/混合模型 checkpoint 存在范数低于 10^-6 的近零嵌入行，而 weight-tied 模型该比例为 0%。研究据此指出，近零 token 嵌入会使门控序列模型训练出现静默停滞。目前该工作仍处于论文报道阶段，尚未见后续复现或修正说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。