Redis 上线 LangCache 公开预览,称语义缓存最高省 90% LLM API 成本
Meet Redis LangCache: A Managed Semantic Cache That Cuts LLM API Costs by Up to 90% and Returns Cache Hits Up to 15x Faster
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Redis 在 Redis Cloud 上推出全托管的语义缓存服务 LangCache,目前处于公开预览,通过 REST API 与 Python、JavaScript SDK 调用,官方称最高可降低 90% 的 LLM API 成本、缓存命中响应最高快 15 倍。
来源:MarkTechPost · marktechpost.com