Show HN:Shoehorn——把 LLM 量化到适配你 Mac 显存的开源库
Show HN: Shoehorn, a library to quantize an LLM to fit your Mac's VRAM
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
开发者发布开源库 Shoehorn,可将 LLM 量化以适配 Mac 的统一内存。作者在 24GB 统一内存的 M4 MacBook Pro 上以 50 tok/sec 运行 Qwen3-30B-A3B,称这一规模模型在中端硬件上本不应跑得动。README 提供上手说明,DESIGN.md 记录了各项设计取舍。
来源:github.com(经 Hacker News) · github.com