Kairo:基于 RTX 5090 测量数据的故障自闭式 LLM 推理路由
Show HN: Kairo——基于RTX 5090测量数据的故障自闭式大型语言模型推理路由
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Kairo 是一个基于 RTX 5090 实测数据实现故障自闭(fail-closed)的 LLM 推理路由项目,已在 GitHub 开源。该项目依据 RTX 5090 上的测量结果决定推理请求的路由方式,并在异常情况下采取故障自闭策略而非放行。
来源:github.com(经 Hacker News) · github.com