跳到正文
原文
Hugging Face Blog·· 10 天前精选AI 评分74

transformers 支持直接加载 llama.cpp GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 宣布 transformers 支持通过 from_pretrained 加载 GGUF 量化模型,复用 ggml 的 Metal 内核,初始聚焦 Apple Silicon 上的 Qwen3.5 架构。

推荐理由

原文给出加载方式、性能对比数据和方法论,读者可据此判断在 Mac 上用 transformers 跑 GGUF 的可行路径。

来源:Hugging Face Blog · huggingface.co