跳到正文
Google Developers Blog·· 17 小时前精选AI 评分65

Google 发布 TorchTitan TPU 分支,TorchTPU 成为 PyTorch 原生 TPU 后端

Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Google 推出 TorchTitan TPU 分支,配合 TorchTPU 原生后端 torch.device("tpu"),让 PyTorch 训练脚本无需重写为 JAX 即可在 Cloud TPU 上运行,仓库在 https://github.com/google-pytorch/torchtitan/。

推荐理由

原文给出各模型级 MFU 数字和逐级优化路径,读者可以对照自己的工作负载评估迁移 TPU 的成本与收益。

来源:Google Developers Blog · developers.googleblog.com