字节 Seed 联合多校论文揭示 DeepSeek-V4 相位敏感性:长文本检索随 Token 位置周期性波动
字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
字节 Seed 团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校发布论文,指出 DeepSeek-V4 的块压缩稀疏注意力(CSA)破坏平移对称性,使检索准确率随目标信息所在 Token 位置呈周期性波动。
推荐理由
论文将长文本检索的周期性波动溯源到分块 KV 压缩的固定步长,并揭示平均分评测会掩盖最差位置的骤降。
来源:InfoQ · 微信公众号 · mp.weixin.qq.com