NVIDIA 发布 Switchyard:转换并路由 OpenAI 与 Anthropic API 的 Rust 代理与库
Meet Switchyard: A Rust Proxy and Library That Routes and Translates LLM Traffic Across OpenAI and Anthropic APIs
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
NVIDIA 以 Apache 2.0 发布 Switchyard,一个用 Rust 编写的 LLM 流量代理与库,可在 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种入站格式之间翻译,并把请求按路由算法转发到 vLLM、NVIDIA NIM 或 Ollama 等后端。
来源:MarkTechPost · marktechpost.com