热点事件持续更新
SGLang HiCache 通过 DRAM 卸载优化 KV 缓存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日，SemiAnalysis 在 X 上发文介绍 SGLang HiCache 的 KV 缓存卸载优化。该报道称，在 12–16 个并发智能体会话下，启用 DRAM KV 缓存卸载可使可缓存的 token 数量增加 20–40%。报道给出的背景是：一块 B200 仅有 180 GB HBM，扣除权重存储后每颗芯片仅剩 100 GB HBM 用于 KV 缓存，对长上下文智能体推理负载而言远远不够；借助 SGLang HiCache 可将 KV 缓存卸载到 CPU 的 DDR5/LPDDR5X 内存，从而提升缓存能力。目前该消息仅来自这一篇报道，尚无更多进展披露。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 23:03
SemiAnalysis 称 DRAM 卸载在 12–16 并发会话下可缓存 token 增 20–40%。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- SemiAnalysis (@SemiAnalysis_) · XSGLang HiCache 优化 KVCache 卸载
警报🚨：在 12-16 个并发智能体会话下，启用 DRAM KVCache 卸载优化可使可缓存的 token 数量增加 20-40%🚀。一块 B200 只有 180 GB 的 HBM，扣除权重存储后，每颗芯片仅剩 100 GB HBM 用于 KVCache。 这对长上下文智能体推理负载来说远远不够。因此，借助 SGLang HiCache，你还可以将 KVCache 卸载到 CPU 的 DDR5/LPDDR5X 内存，从而帮助提升性能。(1/2)🧵
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。