SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
Pubblicata su AIChronos il · fonte del · Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang
SpatialScout è un benchmark introdotto per valutare la capacità degli agenti basati su Vision-Language Models (VLM) di esplorare attivamente e mappare scene tridimensionali interne. Il dataset comprende 80 scenari diversi con oltre 3.140 oggetti target, richiedendo agli agenti di coordinare la selezione dei punti di vista, l'associazione incrociata tra viste e stime geometriche entro budget d'interazione limitati. Gli esperimenti condotti su modelli frontier come Claude Opus 5.5 evidenziano limiti significativi nella costruzione di mappe metriche complete e precise rispetto alla semplice ricostruzione del layout degli oggetti.
- SpatialScout valuta la capacità attiva dei VLM agenti nell'acquisire prove visive per integrare osservazioni in una rappresentazione coerente del mondo 3D.
- Il benchmark misura congiuntamente l'accuratezza di localizzazione e il copertura target tramite punteggi di sovrapposizione a scala oggetto che penalizzano le previsioni mancanti.
- I risultati mostrano un divario sostanziale tra la capacità di recuperare layout grossolani degli oggetti e quella di costruire mappe metriche complete con precisione elevata.
- La maggior parte dei modelli testati fatica ad eccedere soglie elevate di Intersection-over-Union (IoU), indicando difficoltà nella stima geometrica fine durante l'esplorazione autonoma.
Perché conta. Questo paper è cruciale per gli sviluppatori che lavorano con agenti AI e VLM perché definisce standard quantitativi rigorosi per testare la capacità di mappatura spaziale attiva, un requisito fondamentale per applicazioni autonome in ambienti reali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.