跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分46

Specter:用量化多步推测卸载实现快速 MoE 推理

Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Specter 是一个结合量化与推测解码的 MoE 推理系统,通过轻量量化草稿模型在设备上预测未来专家激活,提前调度专家传输与执行。单请求推理下,其每输出 token 时间(TPOT)相比 SOTA 系统平均加速 1.50x,最高 1.88x。该工作已被 ASPLOS 2027 接收,代码已开源。

来源:Hugging Face Daily Papers · arxiv.org