Latent Visual Contrastive Reasoning with Multi-Branch Exploration
Pubblicata su AIChronos il · fonte del · Kegeng Tang, Jingbo Wang, Yangming Zhang, Huanshu Zhang, Shaogang Ren, Zihao Wang
I modelli linguistici multimodali avanzano nel visual question answering ma faticano con il ragionamento visivo complesso che richiede di confrontare molteplici evidenze. Il paper propone Latent Visual Contrastive Reasoning, un framework a branch-aware che genera rami latenti condizionali alla domanda come ipotesi soft sui token dell'immagine. La formazione utilizza annotazioni bounding-box per costruire rappresentazioni delle prove target e introduce un obiettivo di allineamento contrasto soft tra i rami ed le evidenze visive annotate. I risultati su benchmark intensivi nella percezione mostrano miglioramenti rispetto ai backbone Qwen2.5-VL originali e alle baselines a singolo percorso.
- Esiste il limite delle traiettorie di ragionamento lineare singola quando sono rilevanti multiple ipotesi visive o regioni di evidenza concorrenti.
- Il framework genera multipli rami latenti condizionali alla domanda che agiscono come ipotesi soft sui token dell'immagine.
- L'allineamento contrasto branch-evidence incoraggia i rami pertinenti all'evidenza ad allinearsi con le regioni visive annotate mentre li contrasta contro evidenze negative.
- Il metodo è istanziato su backbone Qwen2.5-VL e formato tramite standard supervised fine-tuning senza architetture esotiche.
Perché conta. Per uno sviluppatore che lavora con LLM o agenti, questo approccio permette di superare i limiti del ragionamento lineare singolo in compiti visivi complessi sfruttando evidenze multiple. È rilevante per l'AI locale poiché si basa su standard supervised fine-tuning applicabili a backbone esistenti come Qwen2.5-VL.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.