TorchTPU 让 PyTorch 原生支持 TPU,Hugging Face 生态可直接将模型发送到 "tpu"
Hugging Face ❤️ TorchTPU: TPUs, Natively
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Hugging Face 宣布通过 TorchTPU 原生 PyTorch 后端支持 TPU,Transformers、Diffusers 和 Kernels 现在可以原生运行在 TPU 上,用 device_map="tpu" 或 pipe.to("tpu") 即可加载模型,无需再用 torch_xla 或 Optimum TPU。
推荐理由
原文给出了从 torch_xla 到原生 PyTorch 后端的具体迁移方式和实测数据,读者可据此评估现有模型上 TPU 的可行性。
来源:Hugging Face Blog · huggingface.co