跳到正文
原文
Hacker News popular via buzzing.cc· Maverick617·· 3 小时前AI 评分43

Janus:用 Go 单二进制在 AMD/Intel/Nvidia 上通过 Vulkan 运行 GGUF 模型

Show HN: Janus——一款可在 AMD/Intel/Nvidia 平台上通过 Vulkan 运行 GGUF 模型的 Go 二进制文件

AI 导读

Janus 是一款 Go 单二进制本地 LLM 服务器,通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。

来源:Hacker News popular via buzzing.cc · github.com