RadixArk 联合 Google 和 Meta 开源 SGLang-TorchTPU,将 SGLang 推理栈带到 TPU
SGLang-TorchTPU: PyTorch-Native Production Serving on TPU, Built with Google and Meta
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,一个原生 PyTorch 后端,让 SGLang 完整推理栈运行在 Google Cloud TPU 上,同一引擎可在 GPU 和 TPU 间选择。
推荐理由
原文详列了 SGLang 在 TPU 上的完整功能矩阵、CI 测试规模和 RL 训练实测,读者可据此评估 TPU 部署路线的成熟度。
来源:LMSYS Blog · lmsys.org