多数 AI 工作可以等待:为什么智能体架构应先设计路由而非选模型
Most AI Work Can Wait
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
构建 AI 智能体的团队常先选模型再定架构,但模型选择应是最后一步,真正关键的是决定每类请求由哪层模型处理的路由器。路由做对后,70-80% 的流量可跑在本地模型上、每次调用零成本,或走异步模型将 AI 支出降低 90% 以上。Brian Armstrong 上周也提到 Coinbase 靠更好的默认值、路由与缓存,在 token 用量增长的同时把 AI 支出削减近一半。
来源:Tomer Tunguz · tomtunguz.com