Where Do Vision Language Models Fail at 3D Reasoning?
Pubblicata su AIChronos il · fonte del · Khai Le-Duc, Nguyen Kim Hai Bui, An Ngo, Nam D. Hoang, Yueqi Song, Jiarui Liu
Il documento introduce BedBench, un benchmark controllato per valutare le capacità di ragionamento spaziale e proprietà degli oggetti in modelli vision-language. L'analisi rivela una discrepanza critica tra la capacità dei modelli di recuperare correttamente i dati (es. conteggio colori) e l'utilizzo coerente di tali informazioni nelle risposte finali. Sebbene il fine-tuning mirato possa migliorare le prestazioni individuali, emerge che mantenere la consistenza delle proprietà recuperate rimane una sfida aperta anche con cue visivi aggiuntivi.
- I modelli falliscono nel recuperare e utilizzare in modo coerente le esatte proprietà degli oggetti 3D, non solo nei giudizi singoli.
- Il benchmark BedBench mostra che l'accuratezza umana (93.3%) è nettamente superiore a quella dei migliori modelli attuali (7.2%).
- Fornire i conteggi come testo migliora il giudizio del modello, dimostrando che la recovery della proprietà non garantisce un uso consistente.
- Alcuni apparenti successi nei ragionamenti 3D potrebbero derivare da evidenze visive inesistenti o artefatti di elaborazione.
- Il fine-tuning mirato aumenta l'accuratezza ma esacerba le incongruenze tra i dati recuperati e le risposte generate.
Perché conta. Per gli sviluppatori che costruiscono agenti AI locali, è cruciale comprendere la differenza tra 'vedere' un dato visivo e ragionare coerentemente su di esso per evitare allucinazioni logiche in compiti spaziali complessi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.