跳到正文
原文
LMSYS Blog· The SpecForge Team·· 2026-08-04AI 评分47

SpecForge v0.3.0 发布:统一分离式与同置式投机解码栈,并开源新 SpecBundle 草稿模型

SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models

AI 导读

SpecForge v0.3.0 将目标模型推理与草稿模型训练解耦,在线训练完全分离,在 8xH20 测试平台上以 3 台 SGLang 服务器加 5 个训练 worker 的拓扑,端到端训练吞吐较此前同置实现提升约 10%。

来源:LMSYS Blog · lmsys.org