Hugging Face Blog·· 10 天前精选AI 评分74
transformers 支持直接加载 llama.cpp GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 支持通过 from_pretrained 加载 GGUF 量化模型,复用 ggml 的 Metal 内核,初始聚焦 Apple Silicon 上的 Qwen3.5 架构。
推荐理由
原文给出加载方式、性能对比数据和方法论,读者可据此判断在 Mac 上用 transformers 跑 GGUF 的可行路径。
来源:Hugging Face Blog · huggingface.co