Millwright：基于 Rust 的自托管 LLM 路由器开源
Show HN: Millwright – Rust-based, self-hosted LLM router
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Millwright 是一个开源的自托管 LLM 路由器，用单个 Rust 二进制部署在编码智能体与 GenAI 负载之间。它支持 OpenAI 兼容 API、Anthropic、Amazon Bedrock，按 cheap、mid、frontier 模型角色做策略路由并选择最便宜的健康线路，同时提供按团队统计的支出追踪、成本分析和限流、熔断、超时等可靠性能力。
来源：github.com（经 Hacker News） · github.com