Codice · GitHub
huggingface/transformers v5.20.2 — Patch release v5.20.2
Pubblicata su AIChronos il · fonte del · huggingface
Il rilascio v5.20.2 di Hugging Face Transformers è un patch release che risolve criticamente la perdita dei tipi originali degli input all'interno della funzione `prepare_inputs_for_generation` nel modulo `generate`, problema che causava instabilità nei modelli multimodali.
- Correzione del casting del dizionario di input per prevenire errori nella generazione con modelli VLM e multimediali.
- Risoluzione delle gradienti nulle negli esperti (zero expert gradients) quando si utilizza bfloat16, parallelismo esperto ed ep_size inferiore a fsdp_size.
- Miglioramento nell'identificazione corretta delle modalità di input per i Vision-Language Models che riportano solo testo.
- Ottimizzazione dell'I/O evitando copie non necessarie tra host e device nella funzione `eager_mask`.
Perché conta. Questa release è essenziale per gli sviluppatori che implementano agenti AI o modelli locali multimodali, garantendo la stabilità dei flussi di generazione e l'efficienza delle inferenze in configurazioni avanzate come il parallelismo esperto.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.