ParaTempo:用时间置信度实现高效并行推理
ParaTempo: Efficient Parallel Reasoning via Temporal Confidence
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
ParaTempo 是一个免训练的异步并行推理框架,以分支局部的"时间置信度"(对答案空间收敛程度的度量)驱动全部控制流程:低置信度分支被剪枝、持续收敛的分支提前退役、释放的算力用于派生新分支,置信度加权投票集中后全局停止生成。在数学与科学推理基准上,该方法平均延迟降低 21.8-32.2%,token 总用量减少 18.1-30.3%,同时保持有竞争力的准确率。代码与数据集已公开。
来源:Hugging Face Daily Papers · arxiv.org