AMD MI355X 如何借 SGLang 与 MoRI 实现 DeepSeek-R1 分布式推理的成本竞争力
AMD 与 SGLang 团队联合优化，使 MI355X 在 DeepSeek-R1 大规模分离式推理中实现 129 tok/s/user 交互性下每百万 token $0.169 的成本，比 B200 TRT-LLM 低 5%，单 GPU 吞吐比 B200 SGLang 高 1.25 倍，结果由 SemiAnalysis 的 InferenceX 持续基准验证。
LMSYS Blog
lmsys.org · 网站与博客
切换来源
全部网站与博客新闻IT Home8852 条Simon Willison356 条OpenAI News317 条TechCrunch · AI275 条The Decoder256 条Hugging Face Blog151 条The Verge · AI148 条Claude Blog140 条elsewhere articles114 条Google Research108 条OpenRouter Announcements103 条Mistral AI88 条Tomer Tunguz82 条Databricks Blog81 条Sierra Blog67 条Anthropic Newsroom65 条Gary Marcus64 条Claude Platform release notes62 条Runway News62 条Gemini API 更新日志60 条LMSYS Blog60 条Manus Blog60 条Together AI Blog60 条Google DeepMind58 条NVIDIA Blog51 条a16z News49 条LangChain Blog48 条Suno Blog48 条ByteByteGo46 条ElevenLabs Blog45 条Apple Machine Learning Research43 条Google Blog: AI41 条Qwen Blog40 条Google Developers Blog35 条Cursor Blog34 条Microsoft AI News32 条Linear Now30 条AWS Machine Learning Blog29 条Google Cloud: Databases29 条Dwarkesh Patel27 条Ars Technica · AI26 条Nathan Lambert: Interconnects25 条Latent Space24 条DeepSeek API updates23 条Sakana AI Blog23 条Anthropic Research21 条Import AI21 条AI as Normal Technology20 条ByteDance Seed Papers17 条MIT Technology Review · AI16 条GitHub Blog · AI & ML12 条MiniMax Blog12 条Meta Engineering11 条Sam Altman Blog11 条Berkeley AI Research10 条Black Forest Labs Blog10 条MarkTechPost10 条Microsoft Research10 条xAI：News9 条Every latest articles7 条Thinking Machines Lab Blog7 条ByteDance Seed Research5 条CMU Machine Learning Blog1 条MarkTechPost · 历史来源114 条xAI News · 历史来源73 条Artificial Intelligence News · 历史来源50 条Claude YouTube · 历史来源42 条Ars Technica: AI · 历史来源18 条GitHub Blog · 历史来源17 条Lilian Weng's Log · 历史来源2 条
60 条AI 相关新闻 · 最新在前
LMSYS BlogAI 评分5757
LMSYS BlogAI 评分4545 SGLang 用 RDMA P2P 实现 1T 参数秒级权重传输，Kimi-K2 提速 7 倍
SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，通过 Mooncake TransferEngine 传输，将 1T 参数 Kimi-K2 的权重传输从 53 秒缩短至 7.2 秒，提速 7 倍，代价是每个训练 rank 额外占用 32G CPU 内存的推理引擎副本。
LMSYS Blog精选AI 评分7373 SGLang 与 Miles 实现 DeepSeek-V4 (1.6T Pro, 284B Flash) Day-0 推理与 RL 训练支持
SGLang 与 Miles 团队宣布在发布当天为 DeepSeek-V4 (1.6T Pro, 284B Flash) 提供推理与 RL 训练的开源支持，针对其混合稀疏注意力、mHC 和 FP4 专家权重架构做了专项适配。
推荐理由：原文给出 ShadowRadix、HiSparse 等具体优化机制和基准数字，读者可以了解混合稀疏注意力架构对推理与 RL 训练系统的实际工程要求。
LMSYS BlogAI 评分4343 HiSparse：用分层内存为稀疏注意力提速，长上下文吞吐最高提升 5 倍
LMSYS 提出分层内存系统 HiSparse，将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区，缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上，长上下文场景吞吐最高提升 5 倍，256 并发请求时吞吐超过基线 3 倍。该功能已作为实验特性集成进 SGLang，目前支持 DeepSeek-V3.2 和 GLM-5.1 等采用 DSA 的模型。
LMSYS BlogAI 评分4343 SGLang 在 NVIDIA GTC 2026 的活动亮点回顾
SGLang 在 NVIDIA GTC 2026 期间举办五场活动，包括黄仁勋 GTC 主题演讲的 NVIDIA AI 生态幻灯片展示、开源 AI 专题讨论、官方训练实验室，以及与 RadixArk 联合举办的 Happy Hour 和 LinkedIn 约 200 人规模的 meetup。
LMSYS BlogAI 评分4343 SGLang 集成 Elastic EP：为 DeepSeek MoE 部署实现部分故障容错
SGLang 框架集成 Elastic EP，通过解耦专家与 GPU 的固定映射并维护冗余专家，为 DeepSeek MoE 部署提供部分故障容错能力。在 DeepSeek V3.2 的 4 节点 32 GPU 测试中（ep_size=dp_size=32、256 个冗余专家），服务中断控制在 10 秒以内，较完整重启的 2–3 分钟减少 90%。
LMSYS BlogAI 评分4343 Miles 强化学习框架新增 ROCm 支持，可在 AMD Instinct GPU 上运行
Miles 开源强化学习框架现已支持 ROCm，可在 AMD Instinct MI300/350 系列 GPU 上原生运行大规模 RL 后训练。该框架基于 SGLang 和 Slime 生态，支持 GRPO/PPO、Ray 编排及 Megatron-LM 集成，并提供预构建容器。
LMSYS Blog精选AI 评分6161 SGLang 支持 NVIDIA Nemotron 3 Super，面向高效多智能体系统
SGLang 宣布 Day 0 支持 NVIDIA Nemotron 3 Super。该模型为 120B 参数混合 MoE，每次前向仅激活 12B 参数，采用混合 Transformer-Mamba 架构，支持 1M token 上下文、多 token 预测和思考预算，相比上一代 Nemotron Super 1.5 吞吐提升至 5 倍。
推荐理由：原文给出模型架构、吞吐与准确率对比和 SGLang 部署命令，读者可以据此评估在多智能体工作流中的实际可用性。
LMSYS BlogAI 评分5252 SGLang 在 NVIDIA GB300 NVL72 上实现最高 25x 推理性能提升
SGLang 团队与 NVIDIA 合作宣布，在 SemiAnalysis InferenceXv2 基准上，SGLang 运行 DeepSeek R1 在 GB300 NVL72 上相比 H200 实现最高 25x 性能提升，同时不到 4 个月内将 GB200 NVL72 上的性能提升最高 8x。
LMSYS BlogAI 评分4040 在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提速
SGLang 在 GB300 NVL72 上部署 DeepSeek R1-NVFP4，128K/8K 长上下文场景下实现 226.2 TPS/GPU，较 GB200 提升 1.53X；相同吞吐下 MTP 使用户吞吐再提升 1.87X。
LMSYS BlogAI 评分4747 SGLang-Diffusion 如何为生产级视频生成做深度优化
SGLang-Diffusion 公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE、服务稳定性与 I/O。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。同时为 Wan-VAE 实现按高度分片的并行编解码，并修复 Cache-DiT 在多请求服务下的缓存污染与崩溃问题。
LMSYS BlogAI 评分4141 千问（Qwen）与 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟
千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 和 Qwen3-VL-235B 完成极端延迟优化。
LMSYS BlogAI 评分4646 SGLang RL 团队实现 INT4 QAT 端到端训练：1TB 模型单卡 H200 部署
SGLang RL 团队联合 InfiXAI、蚂蚁集团等团队，在 slime 框架上落地了 INT4 QAT 端到端方案，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性。
LMSYS BlogAI 评分5050 Novita AI 为 GLM4-MoE 打造 SGLang 生产优化：TTFT 降低 65%
Novita AI 基于 SGLang 为 GLM4-MoE 推出一套生产级推理优化方案，通过 Shared Experts Fusion 与 Suffix Decoding 等技术，在 H200 集群 TP8、FP8 配置下将 TTFT 最多降低 65%，智能体编程负载下 TPOT 改善 22%。
LMSYS Blog精选AI 评分6363 SGLang-Diffusion 两个月迭代：推理速度最高提升 2.5 倍并集成 ComfyUI
SGLang-Diffusion 团队发布发布两个月进展总结，当前版本（docker 镜像 lmsysorg/sglang:dev-pr-17247）比 2025 年 11 月初始版最快提升 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。
推荐理由：官方复盘两个月迭代成果，涵盖新模型支持、LoRA 与 ComfyUI 集成等具体改进，读者可评估是否迁移现有扩散推理工作流。
LMSYS BlogAI 评分4848 SGLang 流水线并行如何扩展至百万级 Token 上下文
SGLang 推出高度优化的流水线并行（PP）实现，融合分块流水线并行、异步 P2P 通信与动态分块机制，专为超长上下文推理设计。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1、分块预填充设为 12K 时，预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高出 30.5%，同时 TTFT 最多降低 67.9%，强扩展效率保持 82.8%。
LMSYS BlogAI 评分5050 SGLang 推出 EPD 分离架构：面向视觉语言模型的弹性编码器扩展
SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉编码从语言处理中拆出，编码器服务器可独立横向扩展，并兼容现有 PD 分离形成三层架构。
LMSYS BlogAI 评分5656 LMSYS 联合蚂蚁、美团等发布 SpecBundle（Phase 1）与 SpecForge v0.2
SpecForge 团队联合蚂蚁集团、美团、Nex-AGI 和 EigenAI 发布 SpecBundle（Phase 1），提供覆盖 8B 到 1T 参数主流 instruct 模型的生产级 EAGLE3 草稿模型权重，最高可达 4 倍端到端推理加速。
LMSYS Blog精选AI 评分6161 SGLang 发布扩散大语言模型框架并 Day-0 支持 LLaDA 2.0
Ant Group DeepXPU 团队与 SGLang 团队在 SGLang 中实现扩散大语言模型（dLLM）框架，Day-0 支持 LLaDA 2.0。方案复用现有 Chunked-Prefill 机制，无需改动 SGLang 核心架构，支持自定义扩散解码算法、流式输出、张量并行和 CUDA graph 优化。
推荐理由：原文给出基于 Chunked-Prefill 实现 dLLM 支持的设计细节和实测吞吐数据，读者可据此评估 SGLang 上扩散模型的推理可行性。
LMSYS Blog精选AI 评分6262 LMSYS 发布 Mini-SGLang：5k 行代码的高性能 LLM 推理引擎
LMSYS 推出源自 SGLang 的轻量级推理框架 Mini-SGLang，代码仅 5k 行 Python，保留 Radix Attention、Chunked Prefill、Overlap Scheduling、Tensor Parallelism 等核心优化，并提供 OpenAI 兼容 API 和开箱即用的 Llama-3、Qwen-3 支持。
推荐理由：官方介绍这款仅 5k 行代码的推理引擎保留了哪些关键优化，以及如何用它学习和做研究原型。