unslothai/unsloth v0.1.909-beta — DeepSeek-V4.1 & FLUX-3
Pubblicata su AIChronos il · fonte del · unslothai
Il rilascio v0.1.909-beta di Unsloth introduce ottimizzazioni hardware specifiche per modelli come DeepSeek-V4.1 e FLUX-3, permettendo l'esecuzione locale su risorse ridotte tramite quantizzazione a 1-bit e gestione efficiente della memoria GPU. Il tool facilita la configurazione un comando degli agenti MCP (Model Context Protocol) e integra backend avanzati per il parallelismo contestuale SDPA-only con supporto Vulkan su sistemi non NVIDIA. Sono stati implementati nuovi kernel fusi che accelerano l'addestramento LoRA del 28% e tecniche di offloading dello stato dell'ottimizzatore per ridurre ulteriormente l'impronta memoria durante le fasi di rollout.
- Supporto locale a DeepSeek-V4.1-Flash (552B total, ~16B active) su circa 125 GB di RAM con Engram table su SSD e FLUX.3 Image Klein su soli 24 GB GPU.
- Integrazione un comando MCP via `unsloth mcp add` per connettere agenti di coding come Claude Code o Cursor direttamente a Unsloth.
- Ottimizzazioni include kernel fusi che accelerano LoRA training del 28% e riduzione memoria fino al 4.9x per modelli Gemma 4 su GPU NVIDIA Ampere o superiori.
- Espansione compatibilità hardware con esecuzione GGUF via Vulkan su sistemi non-NVIDIA (Snapdragon, Linux ARM) e gestione slice MIG miste.
- Nuove funzionalità di training includono token-balanced micro-batches, strategie SFT a budget tokens e saving output RMSNorm opzionale.
Perché conta. Questa release è cruciale per gli sviluppatori che operano in ambienti locali o con risorse limitate, poiché abilita l'uso di modelli massicci come DeepSeek-V4.1 senza supercomputer, ottimizzando simultaneamente la velocità dell'inference e del fine-tuning attraverso kernel specializzati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.