跳到正文
InfoQ · 微信公众号·· 7 小时前精选AI 评分71

字节 Seed 联合多校论文揭示 DeepSeek-V4 相位敏感性:长文本检索随 Token 位置周期性波动

字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

字节 Seed 团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校发布论文,指出 DeepSeek-V4 的块压缩稀疏注意力(CSA)破坏平移对称性,使检索准确率随目标信息所在 Token 位置呈周期性波动。

推荐理由

论文将长文本检索的周期性波动溯源到分块 KV 压缩的固定步长,并揭示平均分评测会掩盖最差位置的骤降。

来源:InfoQ · 微信公众号 · mp.weixin.qq.com