Show HN:为本地 LLM 集群打造的极简代理(约 1100 行)
Show HN: A minimalist proxy for your local LLM cluster (~1100 lines)
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
开发者发布了一个约 1100 行的极简代理 smol-llm-proxy,用于把家庭 GPU 集群共享给朋友,同时保留速度限制和 token 计量。它刻意不做 LiteLLM,依赖极少且默认不连接云端,可通过 pip install smol-llm-proxy 安装。
来源:github.com(经 Hacker News) · github.com