unslothai/unsloth v0.1.912-beta — Trick or Treat + Optimizations
Pubblicata su AIChronos il · fonte del · unslothai
La release v0.1.912-beta di Unsloth introduce aggiornamenti tematici Halloween e ottimizzazioni significative delle prestazioni iniziali tramite file Python precompilati. Sono state implementate riduzioni drastiche della latenza per le tool call su Linux, miglioramenti nell'uso CPU durante il caricamento dei modelli e accelerazioni nella preparazione dei dataset per Gemma 3 4B. L'integrazione con SGLang e vLLM ora supporta nativamente i 'thinking models', mentre vengono introdotte nuove funzionalità di gestione del browser locale e stabilità nel training della diffusione.
- La latenza delle tool call su Linux è stata ridotta da un range di 84–174 ms a soli 1–2 ms grazie all'uso di kernel ottimizzati in processi server da 2 GB.
- Multi-LoRA batching permette l'esecuzione simultanea fino a quattro job di fine-tuning condividenti modelli base e utilizzando adapter individuali.
- L'utilizzo della cache per il caricamento dei modelli riduce drasticamente (circa due terzi) il consumo CPU, sfruttando un repository di circa 497 modelli pre-caricati.
- Le integrazioni con SGLang e vLLM supportano ora formati JSON, la compattazione automatica delle chat lunghe e la ripresa di risposte interrotte per i thinking models come Qwen3.
- Vengono preservati le basi 'rope' specifiche per etichetta DeepseekV4 durante gli aggiornamenti di compatibilità con transformers 5.21.
Perché conta. Questa release è cruciale per sviluppatori che operano su hardware locale o server Linux limitati, poiché abilita un fine-tuning parallelo efficiente e riduce i colli di bottiglia I/O nel caricamento dei modelli.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.