推理中的计算与数据搬运：MoE 模型如何改变服务结构与成本
Computation and Data Movement for Inference
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
SemiAnalysis 长文拆解了 MoE 模型推理的计算与数据搬运过程，指出 MoE 不只增加参数量，还改变了每个 token 激活哪些张量、哪些数据必须就近放置、哪些传输需要高本地带宽。
来源：SemiAnalysis 长文 · newsletter.semianalysis.com