LMSYS Blog· rednote hilab, Alibaba Cloud Computing, AntGroup SCT·· 2026-01-12AI 评分50
SGLang 推出 EPD 分离架构:面向视觉语言模型的弹性编码器扩展
EPD Disaggregation: Elastic Encoder Scaling for Vision-Language Models in SGLang
AI 导读
SGLang 推出 Encoder-Prefill-Decode(EPD)分离架构,将视觉编码从语言处理中拆出,编码器服务器可独立横向扩展,并兼容现有 PD 分离形成三层架构。
来源:LMSYS Blog · lmsys.org