Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
Pubblicata su AIChronos il · fonte del · Minju Gwak, Alan Ritter
Il paper esamina se le preferenze di traiettoria ausiliarie possano migliorare l'auto-miglioramento e il trasferimento dei piccoli modelli linguistici sotto supervisione limitata. Gli autori confrontano metriche basate sulla fiducia (SC) con una nuova metrica ibrida a entropia (UID-Conj.) che combina variazione globale dell'entropia e local smoothness tramite aumento della ricompensa online e addestramento offline su risposte corrette. I risultati mostrano che UID-Conj. supera i metodi basati sulla fiducia nel macro-average del benchmark di adattamento e in tre benchmark di trasferimento, con miglioramenti significativi anche nell'SFT pesato storico.
- Le ricompense a livello di risposta non riescono a distinguere le tracce di ragionamento che portano allo stesso esito corretto.
- La metrica UID-Conj. migliora il macro-average online del benchmark di adattamento e tre benchmark di trasferimento rispetto al TTRL non modificato.
- L'SFT offline pesato con UID-Conj. supera la ponderazione uniforme sullo stesso pool di risposte, confermando i benefici dell'approccio ibrido a entropia.
- I vantaggi sono dipendenti dal task: le ricompense SC valutano meglio qualità della traccia e istruzioni seguite, mentre UID-Conj. offre risultati più forti in diversi scenari.
- Le preferenze ausiliarie possono esporre valore di apprendimento presente nelle tracce corrette ma non catturato durante l'inference time.
Perché conta. Questa ricerca è rilevante per gli sviluppatori che lavorano con LLM e agenti locali perché dimostra come tecniche avanzate di reward modeling possano ottimizzare il fine-tuning su dati limitati, migliorando le capacità di ragionamento senza accesso a risposte di riferimento.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.