LMSYS Blog· SGLang X Ascend Team·· 2026-07-28AI 评分33
SGLang 如何重构量化栈:从单一类到 Config-Method-Scheme-Kernel 四层架构
Toward a Cleaner Quantization Stack in SGLang
AI 导读
SGLang 在 issue #15194 中提出量化栈重构方案,将原本由单一类承担的量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层,使 checkpoint 格式解析与硬件后端执行解耦。
来源:LMSYS Blog · lmsys.org