AI 导读
经过三天优化，缓存命中率提升到96%，输出/输入比例提升2.5倍，在请求数和输出数不变的情况下成本降低3.2倍。作者称这轮优化由梁文峰谷加涨价倒逼而来，主要功劳归于 Observational Memory（OM）概念。
正文
经过三天的不懈努力，将缓存命中率提升到 96%，输出 / 输入 比例提升 2.5 倍。请求数、输出数不变的情况下，成本降低 3.2 倍。这一切都是因为被梁文峰谷 + 大涨价割麻了，倒逼出无解优化。主要功劳是 Observational Memory 概念，简称 OM，参考文章 https://t.co/7c6T4zueH5 https://t.co/DCFTN1XXs2
来源：@chunxiangai · x.com