Transformers now runs llama.cpp quants
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · Hugging Face blog
Hugging Face ha integrato il supporto per i modelli GGUF quantizzati direttamente nella libreria Transformers, permettendo l'inferenza locale efficiente su Apple Silicon tramite accelerazione Metal. Questa funzionalità riutilizza i kernel ggml di llama.cpp senza richiedere una riscrittura completa del codice o configurazioni complesse aggiuntive. Gli sviluppatori possono ora caricare checkpoint GGUF utilizzando `from_pretrained`, servire modelli via API OpenAI-compatible e persino effettuare fine-tuning dequantizzando i pesi prima dell'addestramento.
- Supporto nativo per il caricamento di file GGUF quantizzati (es. Q4_K_M) tramite `from_pretrained` con ottimizzazione automatica per MPS su Apple Silicon.
- Integrazione diretta dei kernel ggml/Metal in PyTorch che accelera le operazioni senza dipendere dal runtime dedicato di llama.cpp, pur mantenendo la compatibilità delle API standard.
- Possibilità di servire modelli GGUF tramite `transformers serve` e dequantizzare i pesi per il fine-tuning utilizzando `GgufConfig(dequantize=True)`.
- Ottimizzazioni specifiche nel loop di generazione che migliorano lo sincronizzazione CPU-GPU ed eliminano le maschere padding non necessarie per massimizzare l'utilizzo della GPU.
- Estensione dei benefici prestazionali oltre la generazione testuale, includendo potenzialmente modelli multimediali e audio tramite il riutilizzo dei kernel compatibili.
Perché conta. Questa integrazione permette agli sviluppatori di lavorare con checkpoint GGUF direttamente all'interno degli ecosistemi PyTorch e Transformers standard, eliminando la necessità di gestire runtime separati per l'inferenza locale su hardware Apple. Consente inoltre una verifica immediata dell'accuratezza della conversione dei pesi e del quantization error prima di procedere a pipeline complesse come il fine-tuning o lo sviluppo di agenti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.