unslothai/unsloth v0.1.914-beta — Glass Theme, Personalize & Faster Generation
Pubblicata su AIChronos il · fonte del · unslothai
La release v0.1.914-beta di Unsloth introduce cinque nuovi temi Glass con effetti nativi macOS e funzionalità avanzate per il fine-tuning su CPU in assenza di GPU. Il software ottiene un incremento del 3.9x nella generazione singola-GPU, supporta configurazioni multi-GPU complesse (parallelismo pipeline e tensoriale) e gestisce modelli SDXL entro budget VRAM ridotti da 4 GiB. Sono state implementate ottimizzazioni specifiche per la gestione della memoria durante l'inference, il caching di pesi INT8 per video models e miglioramenti nella navigazione delle chat lunghe.
- Abilita il fine-tuning su CPU direttamente dalla pagina Train per ambienti privi di GPU.
- Raggiunge fino a 99.1 token/s con modelli come Qwen3-8B utilizzando backend ottimizzati NVIDIA Linux/WSL.
- Supporta l'addestramento congiunto audio-immagine (es. Gemma 3n/4) e rendering SDXL su hardware limitato T4/L4.
- Migliora la navigazione nelle conversazioni lunghe con preview messaggi, bookmarking turns e jump tra segmenti.
- Ottimizza l'inference tramite caching di pesi INT8 per video models e streaming migliorato via MLX.
Perché conta. Questa release è cruciale per sviluppatori che operano con LLM locali o agenti, poiché estende la compatibilità hardware permettendo addestramenti su CPU e inferenze efficienti anche su GPU entry-level. Le ottimizzazioni di memoria e quantizzazione INT8 riducono i costi infrastrutturali, rendendo fattibile l'uso avanzato di modelli audio-visione e video generation in contesti con risorse limitate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.