SGLang 集成 Elastic EP:为 DeepSeek MoE 部署实现部分故障容错
Elastic EP in SGLang: Achieving Partial Failure Tolerance for DeepSeek MoE Deployments
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
SGLang 框架集成 Elastic EP,通过解耦专家与 GPU 的固定映射并维护冗余专家,为 DeepSeek MoE 部署提供部分故障容错能力。在 DeepSeek V3.2 的 4 节点 32 GPU 测试中(ep_size=dp_size=32、256 个冗余专家),服务中断控制在 10 秒以内,较完整重启的 2–3 分钟减少 90%。
来源:LMSYS Blog · lmsys.org