跳到正文
原文
LMSYS Blog· SGLang Team·· 2026-07-06AI 评分41

SGLang 集成 DSpark:置信度驱动的变长验证投机解码

DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification

AI 导读

SGLang 现已支持 DSpark 投机解码,在 dense 和 sparse 模型(如 Qwen3、DeepSeek-V4)上均可用。DSpark 采用半自回归块草稿器与基于草稿模型置信度的逐请求变长验证,减少无效 token 验证。在 H200 上以 DeepSeek-V4-Flash 测试,其吞吐/延迟权衡在整个并发扫描中优于 MTP 和非投机基线。

来源:LMSYS Blog · lmsys.org