跳到正文
LMSYS Blog· Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan·· 2026-08-11AI 评分45

SGLang 推出 Unified Radix Cache:混合模型前缀缓存统一为一棵树

Unified Radix Cache: One Tree for Hybrid Model Prefix Caching

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

SGLang 发布 Unified Radix Cache,用单一 token 键控的 radix 拓扑统一混合模型前缀缓存,FULL、SWA、MAMBA 组件在同一棵树上各自执行路径、滑动窗口和 checkpoint 复用语义,HiCache 原生支持 GPU L1、Host L2 与外部 L3 层级。

来源:LMSYS Blog · lmsys.org