LMSYS Blog· The SpecForge Team·· 2026-08-04AI 评分47
SpecForge v0.3.0 发布:统一分离式与同置式投机解码栈,并开源新 SpecBundle 草稿模型
SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models
AI 导读
SpecForge v0.3.0 将目标模型推理与草稿模型训练解耦,在线训练完全分离,在 8xH20 测试平台上以 3 台 SGLang 服务器加 5 个训练 worker 的拓扑,端到端训练吞吐较此前同置实现提升约 10%。
来源:LMSYS Blog · lmsys.org