跳到正文
原文
LMSYS Blog· SGLang Team·· 2026-08-17AI 评分47

SGLang 中的高级 CUDA Graph 技术:Breakable CUDA Graph 与 Full CUDA Graph

Advanced CUDA Graph Techniques in SGLang

AI 导读

SGLang 重构 CUDA Graph 支持,围绕统一的 runner/backend 接口让不同捕获策略可跨执行路径复用,并推出其原创的 Breakable CUDA Graph(BCG)服务技术。

来源:LMSYS Blog · lmsys.org