跳到正文
LMSYS Blog· SGLang Team·· 4 天前精选AI 评分72

SGLang 安全更新:修复 PD 分离服务中的跨请求 KV cache 泄露

SGLang security update: improving request isolation

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

SGLang 团队与 Cloudflare 协同披露:2026 年 8 月 27 日至 9 月 9 日,Workers AI 上 @cf/zai-org/glm-5.3 因 prefill KV cache 容量小于配置上下文长度,超限请求可读到其他用户会话内容。

推荐理由

原文由 SGLang 团队详解 PD 分离下跨请求 KV cache 泄露的机制、修复 PR 和运维建议,兼顾原理与可操作指引。

来源:LMSYS Blog · lmsys.org