unslothai/unsloth v0.1.916-beta — Large Performance Fixes
Pubblicata su AIChronos il · fonte del · unslothai
La release v0.1.916-beta di Unsloth introduce correzioni prestazionali significative per modelli grandi e ottimizzazioni specifiche per l'interfaccia utente locale come Glass theme. Vengono implementati miglioramenti nell'offloading della memoria, nella generazione immagini/video su GPU multiple e nel caricamento accelerato dei modelli Stable Diffusion. Inoltre, sono stati aggiunti router di gradient checkpointing dinamici e supporti specifici per backend CPU con tiled MLP.
- Correzione dell'offloading unificato della memoria che ora funziona correttamente anche per i grandi modelli.
- Implementazione del supporto a finestre browser fluttuanti, mobili e ridimensionabili sopra l'interfaccia di chat.
- Generazione video LTX-2.5 su GPU con 16-24 GB VRAM esegue direttamente le nuove prompt sulla GPU invece che sul CPU.
- Il template gemma-4-thinking preserva il ragionamento durante la formattazione delle conversazioni.
- Aggiunta di AdamW in BF16 opzionale per migliorare le prestazioni dell'addestramento con aggiornamenti stocastici dei parametri.
Perché conta. Questa release è cruciale per gli sviluppatori che operano su hardware locale, poiché riduce drasticamente i tempi di attesa e permette l'esecuzione efficiente di agenti complessi senza dipendere da infrastrutture cloud costose. Le ottimizzazioni specifiche per la gestione della memoria e il calcolo parallelo abilitano lo sviluppo iterativo più fluido anche con risorse VRAM limitate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.