Learning the 4D World through Point Trajectory Forecasting
Pubblicata su AIChronos il · fonte del · Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, Inhee Lee
Il documento introduce Video-Point Model (VPM), un world model che utilizza storicamente video multi-view e istruzioni linguistiche per prevedere futuri da prospettive arbitrarie e traiettorie 3D di punti persistenti. L'architettura estende modelli pre-addestrati con elaborazione condizionata alla camera, integrando osservazioni complementari attraverso telecamere diverse tramite un 'trajectory head'. Questo approccio ancorà le variazioni di aspetto in ogni telecamera a una descrizione condivisa del moto 3D, migliorando sia la fedeltà video che l'accuratezza del movimento.
- VPM integra elaborazione multi-view e previsione di traiettorie per descrivere scene 3D evolutive affidabili.
- L'estensione con 'trajectory head' supervisiona il movimento fisico dei punti attraverso tutti i view, stabilendo una rappresentazione spaziale coerente.
- Il corpus VPM-Data fornisce video sincronizzati multi-view accoppiati a traiettorie di punti persistenti per addestramento e valutazione.
- L'estensione robotica aggiunge azioni come token modali nel generatore, permettendo il controllo del robot basato sulla stessa rappresentazione 3D consapevole.
- Su VP-WorldBench, la supervisione dei punti migliora fedeltà video, accuratezza del moto 3D e successo della manipolazione rispetto a modelli basati solo su video.
Perché conta. Per uno sviluppatore che lavora con LLM o agenti AI locali, VPM dimostra come l'integrazione di rappresentazioni spaziali 3D condivise possa migliorare la grounding delle azioni fisiche e la coerenza temporale nei sistemi multi-view. Questo è cruciale per costruire agenti autonomi in ambienti reali dove la comprensione della dinamica fisica (traiettorie) deve essere allineata con la generazione visiva.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.