Specter:用量化多步推测卸载实现快速 MoE 推理
Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Specter 是一个结合量化与推测解码的 MoE 推理系统,通过轻量量化草稿模型在设备上预测未来专家激活,提前调度专家传输与执行。单请求推理下,其每输出 token 时间(TPOT)相比 SOTA 系统平均加速 1.50x,最高 1.88x。该工作已被 ASPLOS 2027 接收,代码已开源。
来源:Hugging Face Daily Papers · arxiv.org