跳到正文
原文
LMSYS Blog· rednote hilab, Alibaba Cloud Computing, AntGroup SCT·· 2026-01-12AI 评分50

SGLang 推出 EPD 分离架构:面向视觉语言模型的弹性编码器扩展

EPD Disaggregation: Elastic Encoder Scaling for Vision-Language Models in SGLang

AI 导读

SGLang 推出 Encoder-Prefill-Decode(EPD)分离架构,将视觉编码从语言处理中拆出,编码器服务器可独立横向扩展,并兼容现有 PD 分离形成三层架构。

来源:LMSYS Blog · lmsys.org