华为发布 OceanStor M900 AI 记忆存储，把 KV Cache 从显存下沉到 SSD
显存不够、内存太贵，KV Cache 越堆越大：华为给出自己的新解法
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
华为发布 OceanStor M900 AI 记忆存储，聚焦 L3.5 层，单集群可提供 64PB 容量，单 NPU 可用 KV Cache 容量从 GB 级提升到 TB 级。
来源：AI前线 · 微信公众号 · mp.weixin.qq.com
显存不够、内存太贵，KV Cache 越堆越大：华为给出自己的新解法
本站未展示全文，请前往来源网站阅读。
华为发布 OceanStor M900 AI 记忆存储，聚焦 L3.5 层，单集群可提供 64PB 容量，单 NPU 可用 KV Cache 容量从 GB 级提升到 TB 级。
来源：AI前线 · 微信公众号 · mp.weixin.qq.com