Arbitrage：通过优势感知推测实现高效推理
Arbitrage: Efficient Reasoning via Advantage-Aware Speculation
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Apple 提出 Arbitrage 方法，通过优势感知推测提升 LLM 推理效率。传统 token 级 Speculative Decoding 因语义等价步骤中的 token 不匹配导致不必要的拒绝，Arbitrage 针对这一问题进行改进。
来源：Apple Machine Learning Research · machinelearning.apple.com