系统工程实战手册:在 Ironwood (TPU7x) 上优化 Qwen 3.5-397B MoE
Systems Engineering Playbook: Optimizing Qwen 3.5-397B MoE on Ironwood (TPU7x)
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
工程师为在 Ironwood TPU 上部署 397B 参数的 Qwen 3.5 MoE 模型,构建了模块化 JAX/Pallas 优化栈,使 prefill 密集型负载的推理速度最高提升 4.7 倍。
来源:Google Developers Blog · developers.googleblog.com