跳到正文
原文
LMSYS Blog· SGLang Team·· 2026-07-27精选AI 评分78

SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持

SGLang and Miles Add Day-0 Support for Kimi K3

AI 导读

SGLang 和 Miles 发布对 Kimi K3 的 Day-0 支持,分别覆盖推理与 RL 训练。K3 为 2.8T 参数的 3 万亿参数级首个开源模型,采用 69 层 KDA 线性注意力与 24 层 MLA 的混合架构和 1M token 上下文窗口。

推荐理由

原文由 SGLang 团队自述 Day-0 支持的实现细节,给出内存管理、投机解码与并行策略的具体方案和实测数字,可迁移到异构注意力架构的部署。

来源:LMSYS Blog · lmsys.org