字节 Seed 团队发现 DeepSeek 抽风原因,分块 KV 缓存压缩存在相位敏感性
字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
字节 Seed 团队 9 月底在 arXiv 提交论文,指出分块 KV 缓存压缩引入的 Token 相位导致检索性能周期性变化,即相位敏感性(phase sensitivity),可用于解释 DeepSeek 的"抽风"现象。
来源:IT Home · ithome.com