OmniTools 9月22日消息，Hugging Face 9月22日消息，Hugging Face 宣布 Transformers 库正式支持直接加载与运行 llama.cpp 开发的 GGUF 格式量化模型。用户现可通过 from_pretrained 接口加载 Hub 上的 GGUF 模型（如 unsloth/Qwen3.5-4B-GGUF），并使用标准 Transformers API 进行推理，无需额外转换或部署 llama.cpp 环境。
该功能当前优先适配 Apple Silicon 平台，通过复用 llama.cpp 的 ggml 内核（如 Metal 后端），在 M2 Max MacBook Pro 上实现接近 llama.cpp 原生性能的本地推理。支持 Q4_K_M、Q5_K_M、Q6_K 等主流量化变体，文件体积可较 BF16 版本压缩超 60%。
除生成外，GGUF 模型亦可通过 transformers serve 启动 OpenAI 兼容 API，供 Jan、Pi 等客户端调用。此外，开发者还可基于 GGUF 检查点进行模型调试、中间层分析、自定义解码逻辑，或反量化后接入标准训练流程。
