通过推测执行在端侧级联语音智能体中隐藏工具延迟
Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究提出面向端侧级联语音智能体的推测性工具执行方案，通过 Predictor 模块从部分 ASR 假设中预测工具调用，在用户说话时即提前执行并缓存结果，再注入 LLM 提示词以加快响应。
来源：Hugging Face Daily Papers · arxiv.org