Breaking Information Islands in Sparse Tuning via Small-World Connectivity
Pubblicata su AIChronos il · fonte del · Xianchao Guan, Zijun Xiong, Yifeng Wang, Yubo Cui, Yaowei Wang, Guo-Sen Xie
Lo sparse tuning è fondamentale per adattare modelli linguistici grandi in modo efficiente sui parametri, ma la sua efficacia dipende dalla topologia delle interazioni tra feature. Il paper introduce SWIFT (Small-World Induced Fine-Tuning), un framework che utilizza connettività a piccolo mondo per evitare l'isolamento di sottoinsiemi dimensionali noto come 'information islands'. Questo approccio combina aggiornamenti sparsi diagonale-blocco con una permutazione deterministica e fissa per distribuire le uscite miste tra gruppi di feature senza parametri aggiuntivi. Gli esperimenti dimostrano che SWIFT supera i baselines PEFT (Parameter-Efficient Fine-Tuning) mediamente, avvicinandosi o superando perfino il fine-tuning completo.
- Le connettività limitate negli aggiornamenti sparsi possono creare 'information islands' che impediscono interazioni dirette tra feature specifiche del task.
- SWIFT integra mixing locale tramite blocchi diagonali con una permutazione di scattering fissa e deterministica.
- La teoria dimostra che la permutazione sufficiente garantisce un espansione positiva a livello di blocco, eliminando le isole informative.
- Il framework non richiede parametri aggiuntivi oltre quelli già presenti nell'aggiornamento sparsa diagonale-blocco.
- Le valutazioni su ragionamento senso comune e generazione linguistica confermano prestazioni superiori rispetto ad altri metodi PEFT.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti AI o deployment locale, SWIFT offre un modo per massimizzare le capacità del modello senza aumentare il numero di parametri trainabili, garantendo una connettività robusta tra feature critiche. Questo è essenziale quando si devono adattare modelli pre-addestrati a task specifici su hardware limitato mantenendo alte prestazioni.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.