Hacker News popular via buzzing.cc· Maverick617·· 3 小时前AI 评分43
Janus:用 Go 单二进制在 AMD/Intel/Nvidia 上通过 Vulkan 运行 GGUF 模型
Show HN: Janus——一款可在 AMD/Intel/Nvidia 平台上通过 Vulkan 运行 GGUF 模型的 Go 二进制文件
AI 导读
Janus 是一款 Go 单二进制本地 LLM 服务器,通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。
来源:Hacker News popular via buzzing.cc · github.com