AMD 携手 Cerebras 开发低时延 AI 推理方案,称每瓦每秒 Token 吞吐提升 5 倍
AMD 携手 Cerebras 押注低时延 AI 推理:每瓦每秒 Token 吞吐提升 5 倍
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
AMD 与 Cerebras 宣布联合开发面向超低时延 AI 推理的解决方案,于 AMD 的 Advancing AI 2026 活动上公布。该方案整合 AMD 的 Helios 机架级解决方案与 Cerebras 的晶圆级引擎,前者承担高性能可扩展吞吐,处理提示词与大上下文窗口,后者负责对内存带宽要求更高的 Token 生成与解码。
来源:IT Home · ithome.com