SGLang-Diffusion 两个月迭代：推理速度最高提升 2.5 倍并集成 ComfyUI
SGLang-Diffusion 团队发布发布两个月进展总结，当前版本（docker 镜像 lmsysorg/sglang:dev-pr-17247）比 2025 年 11 月初始版最快提升 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。
推荐理由：官方复盘两个月迭代成果，涵盖新模型支持、LoRA 与 ComfyUI 集成等具体改进，读者可评估是否迁移现有扩散推理工作流。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 81–85 条 · 共 85 条LMSYS Blog精选AI 评分6363
LMSYS Blog精选AI 评分6161 SGLang 发布扩散大语言模型框架并 Day-0 支持 LLaDA 2.0
Ant Group DeepXPU 团队与 SGLang 团队在 SGLang 中实现扩散大语言模型（dLLM）框架，Day-0 支持 LLaDA 2.0。方案复用现有 Chunked-Prefill 机制，无需改动 SGLang 核心架构，支持自定义扩散解码算法、流式输出、张量并行和 CUDA graph 优化。
推荐理由：原文给出基于 Chunked-Prefill 实现 dLLM 支持的设计细节和实测吞吐数据，读者可据此评估 SGLang 上扩散模型的推理可行性。
LMSYS Blog精选AI 评分6262 LMSYS 发布 Mini-SGLang：5k 行代码的高性能 LLM 推理引擎
LMSYS 推出源自 SGLang 的轻量级推理框架 Mini-SGLang，代码仅 5k 行 Python，保留 Radix Attention、Chunked Prefill、Overlap Scheduling、Tensor Parallelism 等核心优化，并提供 OpenAI 兼容 API 和开箱即用的 Llama-3、Qwen-3 支持。
推荐理由：官方介绍这款仅 5k 行代码的推理引擎保留了哪些关键优化，以及如何用它学习和做研究原型。
Mistral AI精选AI 评分6767 Mistral AI 发布 Mistral Medium 3，以约八倍更低的成本逼近 Claude Sonnet 3.7 表现
Mistral AI 发布 Mistral Medium 3，定位为兼顾 SOTA 性能、成本低约 8 倍和更易部署的新级别模型。
推荐理由：官方给出与 Claude Sonnet 3.7 对比的基准数字和 $0.4/$2 定价，读者可以据此评估它在企业部署中的性价比。
DeepSeek API updates精选AI 评分7272 DeepSeek API 上线硬盘缓存技术，价格再降一个数量级
DeepSeek API 创新采用硬盘缓存技术，价格再降一个数量级。更新详情见官方文档 API 上线硬盘缓存，发布于 2024/08/02。
推荐理由：官方宣布 API 采用硬盘缓存并称价格再降一个数量级，读者可以据此评估调用成本的下降幅度。