unslothai/unsloth v0.1.910-beta — MOSS-Image, Flint & NVIDIA Bolt E4B
Pubblicata su AIChronos il · fonte del · unslothai
La release v0.1.910-beta di Unsloth introduce supporto per modelli avanzati come MOSS-Image e NVIDIA Nemotron 3.5 Bolt E4B, ottimizzando l'esecuzione locale con tecniche quali il prunaggio degli esperti REAP e lo stoccaggio su SSD per superare i limiti della RAM del sistema. Il software offre un'API di fine-tuning compatibile OpenAI per dataset locali e migliora le prestazioni sulle GPU NVIDIA Ampere, raggiungendo accelerazioni fino al 3.8x nei task DPO. Sono state inoltre implementate correzioni critiche relative alla gestione dei certificati compromessi e all'integrazione con workflow di generazione immagini SDXL.
- Supporto per modelli Mixture of Experts (MoE) come Recursive Flint da 40B parametri, permettendo l'offloading degli esperti su SSD quando la RAM è insufficiente.
- Implementazione dell'API fine-tuning compatibile OpenAI che consente il caricamento di dataset e lo supervised fine-tuning direttamente sui modelli locali tramite SDK.
- Ottimizzazione delle prestazioni per GPU NVIDIA Ampere con riduzione del consumo memoria fino al 7% su hardware non bf16 e velocità DPO aumentata significativamente.
- Integrazione nativa con SAM 3.1 per il masking basato sul testo senza necessità di login, oltre a fix per SDXL hires e parametri AUTOMATIC1111.
- Miglioramenti nella gestione della sicurezza che rifiutano certificati compromessi e correzioni nei logici di salvataggio quantizzato (4-bit) e dtype.
Perché conta. Questa release è cruciale per gli sviluppatori che operano in ambienti locali, poiché permette l'esecuzione efficiente di modelli MoE complessi superando i vincoli hardware tramite tecniche di offloading su SSD. Inoltre, la compatibilità con le API OpenAI standardizza il flusso di lavoro per agenti e fine-tuning, facilitando l'integrazione rapida senza dipendenze esterne.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.