跳到正文
机器之心 · 微信公众号·· 7 天前AI 评分53

清华联合无问芯穹、上海交大开源具身端侧推理引擎 APXInf,π0.5 推理提速约 10.7 倍

提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

清华大学联合无问芯穹与上海交通大学开源面向具身模型的端侧推理引擎 APXInf。无需改动 π0.5 模型,在 Thor 芯片 FP8 配置下将推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,达到 38.46Hz;LIBERO-10 上 Thor FP8 成功率 92.2%,与 π0.5 参考实现的 92.4% 接近。

来源:机器之心 · 微信公众号 · mp.weixin.qq.com