Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception
Pubblicata su AIChronos il · fonte del · Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao
Il paper introduce EvidenceConnect, un framework per la sintesi di dati che sfrutta viste zoomate di regioni correlate all'interno di immagini singole. Questo approccio mira a potenziare una capacità sottostante chiamata 'connecting evidence', ovvero l'identificazione e il collegamento di fatti visivi rilevanti alle entità corrette. Addestrando modelli VLM base con RLVR su questi dati sintetizzati, si ottiene ZwZ2 (Zooming without Zooming v2), che migliora la percezione spaziale fine senza richiedere addestramento specifico sui benchmark downstream.
- La capacità di 'connecting evidence' è fondamentale per compiti come la comprensione del lungo contesto multimodale e l'intelligenza incarnata (embodied AI).
- EvidenceConnect genera domande che richiedono confronto, aggregazione o concatenamento visivo utilizzando regioni zoomate da una singola immagine.
- Il framework garantisce qualità tramite il consenso tra VLM indipendenti per le risposte di riferimento e test di ablazione delle regioni.
- ZwZ2 dimostra miglioramenti generalizzabili su ragionamento spaziale incarnato, agenti multimodali e comprensione del contesto lungo senza addestramento mirato.
- La sintesi dei dati è significativamente più facile ed economica rispetto alla creazione diretta di dataset per compiti specifici.
Perché conta. Per gli sviluppatori che lavorano con LLM o AI locali, questo approccio offre una via praticabile e a basso costo per migliorare le capacità spaziali e di ragionamento degli agenti senza dipendere da costosi dataset annotati manualmente. Rafforzare la connessione delle evidenze permette di creare sistemi multimodali più robusti e generalizzabili anche in scenari complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.