Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
Pubblicata su AIChronos il · fonte del · Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang
Il Reinforcement Learning con Visually Attributable On-Policy Self-Distillation (RLVR) affronta il problema della contaminazione delle correzioni nei modelli multimodali, dove evidenze visive e fattori linguistici si mescolano. L'approccio proposto introduce Visual-Attribution Gating (VAG), un meccanismo che valida le correzioni token-level confrontando viste del teacher con ed senza evidenza visiva. Questo paradigma garantisce che gli aggiornamenti siano ancorati esclusivamente a prove visive verificabili, evitando di rinforzare errori derivanti da bias linguistici o stili di risposta.
- La supervisione task-level in RLVR offre guida limitata per localizzare errori specifici nel ragionamento visivo.
- Le correzioni token-level possono essere contaminate se non attribuibili consistentemente all'evidenza visiva privilegiata (privileged-correction contamination).
- Visual-Attribution Gating (VAG) utilizza il vantaggio derivato dal verificatore come punto di ancoraggio per l'ottimizzazione.
- Il metodo ammette solo le correzioni supportate dalla contrasto tra viste con ed senza evidenza visiva, sopprimendo residui incoerenti.
- I test su sei benchmark dimostrano che VAG supera i metodi GRPO e OPSD stabilendo nuovi record di stato dell'arte.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi multimodali, questa tecnica è cruciale per garantire affidabilità nelle risposte visive evitando l'apprendimento di bias non verificabili. Implementare meccanismi di gating basati su attribuzione visiva permette di costruire modelli più robusti che distinguono tra ragionamento reale e artefatti linguistici.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.