LMSYS Blog· SGLang Team·· 2026-08-17AI 评分47
SGLang 中的高级 CUDA Graph 技术:Breakable CUDA Graph 与 Full CUDA Graph
Advanced CUDA Graph Techniques in SGLang
AI 导读
SGLang 重构 CUDA Graph 支持,围绕统一的 runner/backend 接口让不同捕获策略可跨执行路径复用,并推出其原创的 Breakable CUDA Graph(BCG)服务技术。
来源:LMSYS Blog · lmsys.org