FreeToken：带宽自适应的边缘原生 MoE 推理系统，单块工作站 GPU 可运行 753B 模型
FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
FreeToken 是一个边缘原生 MoE 推理系统，围绕模型布局与加载、专家驻留、CPU 与 GPU 执行、智能体状态复用和运行时内存管理做全栈协同设计，并按设备实际可用资源动态映射计算与模型状态。
来源：Hugging Face Daily Papers · arxiv.org