PEAR: Adaptive Advantage Reshaping for Perception and Exploration in Large Vision-Language Models
Pubblicata su AIChronos il · fonte del · Junxin Wang, Yingfeng Luo, Xiangchen Song, Weiqiao Shan, Runsong Zhao, Xinyu Liu
Il metodo PEAR è stato proposto per migliorare il ragionamento multimodale nei grandi modelli visione-linguaggio (LVM), bilanciando l'utilizzo affidabile delle informazioni visive con la sufficiente esplorazione di percorsi di ragionamento diversi. L'approccio supera i limiti dei lavori precedenti che combinano dipendenza visiva ed entropia del token, evitando di sottopesare i token ad alta entropia anche quando hanno bassa dipendenza visiva. PEAR mantiene la dipendenza visiva come segnale base e aggiunge un guadagno basato sull'esplorazione dell'entropia solo nelle posizioni ad alta entropia, assegnando guadagni aggiuntivi maggiori dove la dipendenza visiva è più bassa. Questo segnale fuso viene mappato in pesi positivi a livello di token per rimodellare il vantaggio sequenziale.
- PEAR integra una componente esplorativa basata sull'entropia del token con un segnale base di dipendenza visiva.
- Il guadagno aggiuntivo è inversamente proporzionale alla dipendenza visiva, favorendo l'esplorazione in aree a bassa rilevanza visuale ma alta incertezza.
- L'approccio produce pesi positivi a livello di token che rimodellano efficacemente il vantaggio sequenziale per migliorare le prestazioni.
- I test su Qwen2.5-VL-3B e Qwen2.5-VL-7B dimostrano che PEAR ottiene la migliore performance media rispetto alle baseline sui benchmark di ragionamento multimodale.
- Il metodo mantiene risultati leader anche nei benchmark di ragionamento puramente testuale e in quelli generali multimodali.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi LLM, PEAR offre un meccanismo pratico per potenziare la capacità del modello di esplorare nuove soluzioni senza affidarsi esclusivamente ai dati visivi forniti, migliorando così l'affidabilità e la creatività nel ragionamento complesso.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.