跳到正文
原文
LMSYS Blog· Ant Group DeepXPU Team, SGLang Team·· 2025-12-19精选AI 评分61

SGLang 发布扩散大语言模型框架并 Day-0 支持 LLaDA 2.0

Power Up Diffusion LLMs: Day‑0 Support for LLaDA 2.0

AI 导读

Ant Group DeepXPU 团队与 SGLang 团队在 SGLang 中实现扩散大语言模型(dLLM)框架,Day-0 支持 LLaDA 2.0。方案复用现有 Chunked-Prefill 机制,无需改动 SGLang 核心架构,支持自定义扩散解码算法、流式输出、张量并行和 CUDA graph 优化。

推荐理由

原文给出基于 Chunked-Prefill 实现 dLLM 支持的设计细节和实测吞吐数据,读者可据此评估 SGLang 上扩散模型的推理可行性。

来源:LMSYS Blog · lmsys.org