Google 发布 TorchTitan TPU 分支,TorchTPU 成为 PyTorch 原生 TPU 后端
Integrating TorchTPU into TorchTitan and Optimizing Models for TPU
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Google 推出 TorchTitan TPU 分支,配合 TorchTPU 原生后端 torch.device("tpu"),让 PyTorch 训练脚本无需重写为 JAX 即可在 Cloud TPU 上运行,仓库在 https://github.com/google-pytorch/torchtitan/。
推荐理由
原文给出各模型级 MFU 数字和逐级优化路径,读者可以对照自己的工作负载评估迁移 TPU 的成本与收益。
来源:Google Developers Blog · developers.googleblog.com