LMSYS Blog· Netpreme Team·· 2026-07-08AI 评分39
Netpreme X-Mem™ MPU 加速 SGLang HiCache
Accelerating SGLang HiCache with Netpreme X-Mem™ MPU
AI 导读
Netpreme X-Mem™ MPU 作为专用 KV 内存层接入 SGLang HiCache，在前缀密集型负载下将首 token 延迟（TTFT）较基于 Host DRAM 的方案降低 6.7 倍。
来源：LMSYS Blog · lmsys.org