跳到正文
LMSYS Blog· RadixArk, Google and Meta·· 1 天前精选AI 评分64

RadixArk 联合 Google 和 Meta 开源 SGLang-TorchTPU,将 SGLang 推理栈带到 TPU

SGLang-TorchTPU: PyTorch-Native Production Serving on TPU, Built with Google and Meta

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,一个原生 PyTorch 后端,让 SGLang 完整推理栈运行在 Google Cloud TPU 上,同一引擎可在 GPU 和 TPU 间选择。

推荐理由

原文详列了 SGLang 在 TPU 上的完整功能矩阵、CI 测试规模和 RL 训练实测,读者可据此评估 TPU 部署路线的成熟度。

来源:LMSYS Blog · lmsys.org