ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
Pubblicata su AIChronos il · fonte del · Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang, Seungryong Kim (NVIDIA)
ThinkWorld è un framework per modelli Vision-Language-Action (VLA) che migliora il ragionamento robotico ancorandolo alla dinamica del mondo e potenziando l'apprendimento tramite reinforcement learning con 'world imagination'. Il metodo rappresenta ogni pensiero d'azione come una Chain-of-Dynamics (CoD), ovvero una sequenza di token discreti che catturano le dinamiche intermedie tra lo stato attuale e uno futuro. Inizializzando la CoD con dimostrazioni etichettate, il sistema predice gli stati futuri indotti da ciascuna azione e rafforza quelle le cui previsioni corrispondono meglio agli esiti osservati. Questo approccio permette a video privi di annotazioni d'azione di fornire supervisione diretta dai transizioni degli stati, unificando l'esperienza umana e robotica nello stesso spazio di ragionamento.
- ThinkWorld risolve il trade-off tra dati scalabili da video umani e grounding esplicito delle azioni nei VLA.
- La Chain-of-Dynamics (CoD) funge da rappresentazione comune d'azione trasversale a diverse incarnazioni robotiche.
- Il reinforcement learning basato su world imagination rafforza le CoD che meglio predicono gli esiti osservati.
- Permette il trasferimento efficace dall'uomo al robot e una forte generalizzazione a compiti e ambienti non visti.
- Abilita l'uso di video senza annotazioni d'azione per supervisionare direttamente i transizioni degli stati.
Perché conta. Questo framework è rilevante perché offre un percorso concreto per integrare esperienze umane ricche in modelli VLA locali, superando le limitazioni dei dataset robotici tradizionali e migliorando la generalizzazione senza bisogno di etichettatura massiva.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.