huggingface/transformers v5.21 — Release: v5.21.0
Pubblicata su AIChronos il · fonte del · huggingface
La release v5.21.0 di Hugging Face Transformers introduce modelli avanzati per il document understanding come MiniCPM-OCR e UltraVBert, oltre a nuovi sistemi TTS on-device come Gradium Phonon e Pocket TTS. Il rilascio include miglioramenti significativi nella gestione dei Mixture of Experts (MoE) con meccanismi ibridi di attenzione e normalizzazione RMS, nonché supporto per il parallelismo tensoriale ed esperto in modelli specifici. Sono state implementate funzionalità critiche per l'inferenza locale come la gestione del backend FP8 per lo storage delle cache KV e correzioni su importazioni e casting dei dtype.
- Integrazione di MiniCPM-OCR che combina SigLIP e Qwen3.5 per il riconoscimento ottico nei documenti densi in testo.
- Implementazione del backend FP8 (torch.float8_e4m3fn) per QuantizedCache accanto alle opzioni esistenti quanto e hqq.
- Supporto espanso per modelli MoE come Flint con routing a 6 esperti su 256 e meccanismi di attenzione ibrida appresi.
- Correzione delle importazioni del processore Gemma4 in ambienti che utilizzano PIL ma non torch, risolvendo errori precedenti.
- Miglioramenti nell'handling dei dtype per la quantizzazione FP4 nei modelli DeepSeek-V4.1 tramite expert_dtype.
Perché conta. Questa release è cruciale per gli sviluppatori che lavorano con LLM e agenti locali, offrendo strumenti ottimizzati per l'inferenza su CPU (Pocket TTS) e GPU ROCm, riducendo i requisiti di memoria tramite quantizzazione FP8/FP4 e migliorando la gestione dei modelli MoE complessi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.