跳到正文
github.com(经 Hacker News)·· 26 天前AI 评分28

Kairo:基于 RTX 5090 测量数据的故障自闭式 LLM 推理路由

Show HN: Kairo——基于RTX 5090测量数据的故障自闭式大型语言模型推理路由

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Kairo 是一个基于 RTX 5090 实测数据实现故障自闭(fail-closed)的 LLM 推理路由项目,已在 GitHub 开源。该项目依据 RTX 5090 上的测量结果决定推理请求的路由方式,并在异常情况下采取故障自闭策略而非放行。

来源:github.com(经 Hacker News) · github.com