From What Is Used to What Is Missing: Rethinking Dynamic Rank in LoRA
Pubblicata su AIChronos il · fonte del · Peng Xue, Guodong Fan, Guang-Yong Chen, Xing Chen
Il paper introduce GEAR, un metodo per il fine-tuning efficiente dei parametri (PEFT) con LoRA che supera i limiti delle tecniche dinamiche di rank esistenti. Gli autori caratterizzano la frontiera dell'informazione del primo ordine dei gradienti fattoriali, dimostrando come non possano distinguere tra sottottimizzazione nello spazio corrente e direzioni rilevanti per il task oltre tale portata. Viene proposta una visione geometrica evolutiva del rank che ottimizza i gradi di libertà esistenti tramite lo spazio tangente e quantifica quelli nuovi attraverso lo spettro normale. GEAR utilizza questa decomposizione tangente-normale per espandere dinamicamente il rank, ottenendo prestazioni superiori con meno parametri trainabili su benchmark linguistici e visivi.
- Le tecniche esistenti di dynamic-rank si concentrano sulla capacità allocativa senza verificare se lo spazio di adattamento sia sufficiente al task.
- I gradienti fattoriali standard non possono distinguere tra sottottimizzazione nello spazio corrente e direzioni rilevanti per il task oltre la portata del primo ordine.
- GEAR trasforma la decomposizione tangente-normale in evoluzione del rank ottimizzando lo spazio tangente ed stimando lo spettro normale senza matrici (matrix-free).
- Su LLaMA3-8B, GEAR aumenta il punteggio medio di senso comune da 86.61 a 88.45 riducendo i parametri trainabili da 42.0M a 14.4M.
- Lo spettro energetico determina il guadagno dell'espansione del rank ottimalmente locale nelle direzioni singolari normali principali.
Perché conta. Per uno sviluppatore che lavora con LLM e AI locale, GEAR offre un modo per massimizzare le prestazioni dei modelli riducendo drasticamente l'impronta di memoria durante il fine-tuning. Questo è cruciale per deployare agenti o modelli personalizzati su hardware limitato senza sacrificare la capacità adattiva.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.