Together AI 用分布感知投机解码将 RL rollout 加速最高 50%
Accelerate RL rollouts by up to 50% with distribution-aware speculative decoding
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Together AI 提出分布感知投机解码(DAS),在 RL 后训练的 rollout 阶段实现最高 50% 加速且不改变模型输出。DAS 由自适应后缀树 drafter 和长度感知调度两部分组成:前者基于近期轨迹构建、无需训练即可跟随策略更新,后者通过跨 GPU 负载均衡与 GPU 内投机预算分配削减长尾请求。
来源:Together AI Blog · together.ai