Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3,实现 1000-2000+ tokens/s
Cerebras 部署了万亿参数的人工智能模型
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Cerebras 披露在 59 片 WSE-3T 晶圆上部署约 3 万亿参数的 Kimi K3,以 4-bit 权重和 8-bit KV cache 实现 1000-2000+ tokens/s 推理。每片晶圆 44 GB 片上内存,69 个线性注意力层每片放 2 层、24 个稠密层每片放 1 层,层间仅通过 RDMA over Ethernet 传递激活值,约 2 微秒一跳。
来源:cerebras.ai(经 Hacker News) · cerebras.ai