LMSYS Blog· Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng·· 2026-04-29AI 评分45
SGLang 用 RDMA P2P 实现 1T 参数秒级权重传输,Kimi-K2 提速 7 倍
Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL
AI 导读
SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制,通过 Mooncake TransferEngine 传输,将 1T 参数 Kimi-K2 的权重传输从 53 秒缩短至 7.2 秒,提速 7 倍,代价是每个训练 rank 额外占用 32G CPU 内存的推理引擎副本。
来源:LMSYS Blog · lmsys.org