跳到正文
jrdsgl.com(经 Hacker News)·· 4 小时前AI 评分34

如果你没有运行自己的 LLM 代理,你怎么知道里面发生了什么?

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

一位开发者主张自建 LLM 代理而非依赖厂商前端,理由是厂商展示的用量图表无法支撑工程决策。自建代理可统一接入多供应商、多模型,记录哪个 key 在何时以哪个客户端调用了哪个模型及其状态,并用虚拟 API key 避免主密钥散落在各处。作者称其代理带 API,能在编码会话中 20 秒内手工定位一次 cache miss 的原因。

来源:jrdsgl.com(经 Hacker News) · jrdsgl.com