弗吉尼亚理工提出混合潜在注意力提升循环LLM吞吐量

2026年10月7日，X 用户 Rohan Paul 发布消息称，弗吉尼亚理工（Virginia Tech）发表新论文，提出一种名为 Hybrid Latent Attention（混合潜在注意力）的方法。该方法将较旧的 token 缓存为紧凑向量，供注意力机制直接读取，从而提升循环 LLM 的吞吐量。据该报道，这一方法使循环 LLM 在每块 GPU 上可容纳的请求量提升 4.0 至 8.8 倍，且精度损失很小。报道同时称该方案让循环模型吞吐提升 7.4 倍。目前该事件仅有这一条报道，尚无其他来源或后续进展。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。