LMSYS Blog· AMD & SGLang Team·· 2026-05-28AI 评分57
AMD MI355X 如何借 SGLang 与 MoRI 实现 DeepSeek-R1 分布式推理的成本竞争力
Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI
AI 导读
AMD 与 SGLang 团队联合优化，使 MI355X 在 DeepSeek-R1 大规模分离式推理中实现 129 tok/s/user 交互性下每百万 token $0.169 的成本，比 B200 TRT-LLM 低 5%，单 GPU 吞吐比 B200 SGLang 高 1.25 倍，结果由 SemiAnalysis 的 InferenceX 持续基准验证。
来源：LMSYS Blog · lmsys.org