LMSYS Blog· Ant Group DeepXPU Team, SGLang Team·· 2025-12-19精选AI 评分61
SGLang 发布扩散大语言模型框架并 Day-0 支持 LLaDA 2.0
Power Up Diffusion LLMs: Day‑0 Support for LLaDA 2.0
AI 导读
Ant Group DeepXPU 团队与 SGLang 团队在 SGLang 中实现扩散大语言模型(dLLM)框架,Day-0 支持 LLaDA 2.0。方案复用现有 Chunked-Prefill 机制,无需改动 SGLang 核心架构,支持自定义扩散解码算法、流式输出、张量并行和 CUDA graph 优化。
推荐理由
原文给出基于 Chunked-Prefill 实现 dLLM 支持的设计细节和实测吞吐数据,读者可据此评估 SGLang 上扩散模型的推理可行性。
来源:LMSYS Blog · lmsys.org