趋境科技 Mooncake 落地万亿级 Token 生产：KV Cache 命中率稳定突破 90%
日均产出万亿Token！Mooncake落地生产，KV Cache命中率稳定突破90%
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
趋境科技将 SGLang HiCache 与 Mooncake Store 结合，把 KV Cache 从单机资源池化为集群级共享资源，线上 KV Cache 命中率稳定在 90% 以上。
来源：量子位 · 微信公众号 · mp.weixin.qq.com