Learning to Think and Explore in 3D World
Pubblicata su AIChronos il · fonte del · Yijiang Li, Bingyang Wang, Nuno Vasconcelos (University of California at San Diego)
Lo studio esamina come i modelli visione-linguaggio (VLM) possano imparare a ragionare ed esplorare attivamente in spazi tridimensionali preservando l'encoding visivo nativo. Dopo un iniziale fine-tuning supervisionato per traiettorie, il modello ACT3D utilizza reinforcement learning (RL) basato sulla correttezza della risposta finale senza supervisione diretta sulle azioni di esplorazione. Questo approccio permette al modello di navigare e riorientarsi iterativamente prima di fornire una risposta definitiva, superando benchmark proprietari come Gemini 3.6 Flash.
- Il modello ACT3D raggiunge un'accuratezza media del 53.2% su sei benchmark 3D, migliorando il base Qwen model del 22.0%.
- L'apprendimento tramite RL permette al sistema di acquisire politiche di esplorazione efficaci solo in base all'impatto sulle prestazioni finali.
- Il modello riduce l'uso dei frame input del 50-70% rispetto ai metodi esistenti e generalizza bene a domini non visti (+5.9%).
- L'esplorazione è adattiva e condizionata alla domanda, con guadagni di performance che aumentano fino al 16.3% per domande complesse.
- ACT3D cerca obiettivi occlusi ed evita esplorazioni inutili acquisendo punti di vista complementari.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questo paper dimostra come l'outcome-based RL possa insegnare a un modello non solo a ragionare sui dati visivi disponibili, ma anche su quando ed come acquisire attivamente nuove evidenze in ambienti simulati o reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.