跳到正文
github.com(经 Hacker News)·· 2026-08-14AI 评分45

Show HN:Shoehorn——把 LLM 量化到适配你 Mac 显存的开源库

Show HN: Shoehorn, a library to quantize an LLM to fit your Mac's VRAM

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

开发者发布开源库 Shoehorn,可将 LLM 量化以适配 Mac 的统一内存。作者在 24GB 统一内存的 M4 MacBook Pro 上以 50 tok/sec 运行 Qwen3-30B-A3B,称这一规模模型在中端硬件上本不应跑得动。README 提供上手说明,DESIGN.md 记录了各项设计取舍。

来源:github.com(经 Hacker News) · github.com