LMSYS Blog· Ant Ling Infra Team (Ant Group), Alibaba, SGLang Team·· 2026-08-21AI 评分54
SGLang 推出 Weight Cache Daemon，将 Ling-2.6-1T 权重加载从约 495 秒缩短至 0.63 秒
Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon
AI 导读
SGLang 团队联合蚂蚁 Ling Infra 团队发布 Weight Cache Daemon，通过常驻 GPU 进程和 CUDA IPC 零拷贝映射缓存量化后权重，使 Ling-2.6-1T FP8 的权重加载从约 495 秒降至 0.63 秒，端到端启动时间从 8.8 分钟降至 0.528 分钟。
来源：LMSYS Blog · lmsys.org