Training Specialist LLMs on Your Phone: Forward-Only Optimization via Block-Spectral Coordinates
Pubblicata su AIChronos il · fonte del · Liyan Tan, Yequan Zhao, Ziyue Liu, Yupeng Su, Ruijie Zhang, Zheng Zhang
MobileSpec è un sistema che addestra modelli specialistici per dispositivi personali utilizzando esclusivamente passaggi in avanti (forward passes) invece della backpropagation proibitiva. L'algoritmo FuRA-S genera perturbazioni casuali simili a quelle delle strategie evolutive RLVR, preservando i valori singolari e ruotando quelli dei pesi pre-addestrati modificando solo le coordinate spettrali di blocchi specifici. Questo approccio permette l'adattamento efficiente anche su modelli quantizzati INT4 senza alterare direttamente i loro parametri originali.
- Addestra specialistici LLM con aggiornamenti forward-only basati su perturbazioni casuali, evitando la backpropagation.
- FuRA-S modifica solo le coordinate spettrali dei blocchi di colonna per ruotare i vettori singolari e adattare il modello.
- I modelli specialistici risultanti occupano 1-5 MB aggiornando meno dello 0.06% dei parametri totali.
- Il sistema aumenta drasticamente la success rate degli agenti su smartphone da un minimo del 23% al 100%.
- FuRA-S compete con le full-parameter evolution strategies e supera gli approcci basati su LoRA o quantizzati.
Perché conta. Permette di personalizzare modelli LLM pesanti (es. 8B) su hardware consumer come iPhone senza richiedere risorse GPU massive. Abilita l'uso affidabile di agenti AI locali per task specifici sfruttando dati utente non etichettati tramite reward verificabili.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.