PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
Pubblicata su AIChronos il · fonte del · Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, Yilin Chen
PDRVLA è un modello Vision-Language-Action (VLA) che integra un modulo leggero di Rappresentazioni Dinamiche Fisiche per generare azioni robotiche senza introdurre latenza tramite la generazione online di video. Il sistema estrae token fisici dai caratteri visione-linguaggio condizionando direttamente la generazione delle azioni, apprendendo a predire futuri RGB, profondità e flusso ottico con supervisione ausiliaria da un modello pre-addestrato su mondo-fisso congelato. La formazione si basa interamente su dati pubblici ampliati tramite sintesi umano-roboto, annotazione di sotto-compiti e pensiero a catena incarnato (ECoT). Su quattro benchmark simulativi, il modello raggiunge tassi di successo elevatissimi, come il 99,3% su LIBERO.
- Il modulo fisico estrae token dinamici dai feature visione-linguaggio per evitare la latenza della generazione video online nel loop di controllo.
- L'addestramento utilizza supervisione ausiliaria da un modello pre-addestrato su mondo-fisso congelato e dati sintetizzati umano-roboto.
- Il training incorpora annotazioni di sotto-compiti (subtask) e pensiero a catena incarnato (ECoT) per migliorare la pianificazione delle azioni.
- PDRVLA supera i benchmark simulativi con tassi di successo superiori al 90% su LIBERO, RoboTwin~2.0 e SimplerEnv.
- Le ablazioni dimostrano che la supervisione del modello-mondo migliora significativamente le capacità di previsione futura.
Perché conta. Permette agli sviluppatori di integrare modelli VLA in loop di controllo robotico reattivi senza i ritardi causati dalla generazione video. Offre un approccio scalabile per addestrare agenti autonomi utilizzando dati pubblici e tecniche di sintesi, riducendo la dipendenza da dataset proprietari costosi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.