Hugging Face Blog·2026-09-22 08:00· 10 天前精选AI 评分83

Hugging Face Transformers 支持运行 llama.cpp GGUF 模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 为 transformers 增加 GGUF 模型支持，用户可从 Hub 加载量化 checkpoint，并通过熟悉的 Python、PyTorch 和 transformers API 在 Apple Silicon Mac 上进行本地推理。

推荐理由

Hugging Face 将 GGUF 与 transformers API 结合，并给出 Apple Silicon 上的安装、调用和基准细节，便于开发者评估本地部署方案。

来源：Hugging Face Blog · huggingface.co