Bonsai 2 27B：9 倍更小体积下的近无损压缩
Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Bonsai 2 27B 以近无损压缩实现 9 倍更小的体积，其 GGUF 模型需搭配 Prism 的 llama.cpp 分支才能运行。该模型文件约 5.95 GB，在 M5 Pro 上实测约 20 token/秒，服务器重启后达到 44 token/秒。
来源：Simon Willison · simonwillison.net