Google 联合 Red Hat 等发布开源分布式推理栈 llm-d 1.0，支持 GKE 上的 TPU 与 GPU 混合调度
Announcing llm-d 1.0: Open distributed inference for agents on Google Cloud TPUs and GPUs
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Google 在 PyTorch Conference 发布开源 Kubernetes 原生分布式推理栈 llm-d 1.0，与 Red Hat、IBM 等在 CNCF Sandbox 项目中联合 25 个组织超 500 名贡献者完成。
推荐理由
官方发布给出生产数据与部署路径，读者可以据此评估这套开源分布式推理栈是否适合自建 Agent 推理集群。
来源：Google Cloud: Databases · cloud.google.com