Hierarchical Low-Rank Reparameterization for Parameter-Efficient
Pubblicata su AIChronos il · fonte del · Rong Huang, Yi Xiong, Yuan-Yuan Cheng, Xiao-Ming Fu
Il paper propone un metodo di reparametrizzazione gerarchica a rango basso per ottimizzare i parametri nei metodi PEFT (Parameter-Efficient Fine-Tuning). L'idea centrale è riorganizzare i parametri addestrabili in una matrice approssimativamente quadrata e decomporla tramite fattorizzazione a rango basso, applicabile ricorsivamente. Questa struttura multi-level comprime drasticamente il numero di parametri riducendo la ridondanza mantenendo le prestazioni del task. Gli esperimenti su modelli come LLaMA-3.1-8B e Qwen2.5-7B dimostrano che combinando questo approccio con LoRA o DoRA si ottengono migliori risultati rispetto alle baseline, anche quando i parametri originali sono compressi di un ordine di grandezza.
- Riduzione della ridondanza nei parametri PEFT tramite decomposizione a rango basso ricorsiva su matrici approssimativamente quadrate.
- Integrazione efficace con tecniche esistenti come LoRA, DoRA, MoSA e RaSA per migliorare le prestazioni sui benchmark di ragionamento comune.
- Mantenimento competitivo delle performance anche quando il conteggio dei parametri viene compresso significativamente rispetto ai metodi originali.
- Superamento delle baseline in accuratezza media su otto benchmark di ragionamento commonsense con budget di parametri paragonabili.
- Applicabilità a modelli LLaMA-3.1 e Qwen2.5 per task come GSM8K (ragionamento matematico) e reasoning comune.
Perché conta. Per uno sviluppatore che lavora con LLM, agenti o AI locale, questa tecnica è cruciale perché permette di ridurre drasticamente la memoria necessaria per il fine-tuning senza sacrificare le capacità del modello. Questo rende possibile addestrare modelli più grandi su hardware limitato e ottimizzare l'inference in scenari a risorse vincolate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.