跳到正文
原文
LMSYS Blog· SGLang X Ascend Team·· 2026-07-28AI 评分33

SGLang 如何重构量化栈:从单一类到 Config-Method-Scheme-Kernel 四层架构

Toward a Cleaner Quantization Stack in SGLang

AI 导读

SGLang 在 issue #15194 中提出量化栈重构方案,将原本由单一类承担的量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层,使 checkpoint 格式解析与硬件后端执行解耦。

来源:LMSYS Blog · lmsys.org