WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
Pubblicata su AIChronos il · fonte del · Jun Cen, Yubo Guo, Hao Li, Liangkai Li, Yaoxu Lyu, Meng Wei
Il documento affronta la sfida della generalizzazione dei compiti nei modelli di azione del mondo (WAM), proponendo WorldBridge che unisce esperti video e d'azione tramite attenzione strutturata. L'autore dimostra come una copertura video ampia permetta il trasferimento di compiti sfruttando dinamiche inverse, mentre supervisione sparsa sull'azione rafforza ulteriormente le prestazioni su benchmark robotici. Il modello integra memoria visiva a due scale temporali e un pipeline dati unificato per standardizzare traiettorie eterogenee.
- L'introduzione di video senza etichette d'azione aumenta il tasso di successo del compito da 25,07% a 55,90% su RoboTwin 2.0.
- Aggiungere una sola dimostrazione con etichetta d'azione per ogni compito porta le prestazioni al 70,70%, evidenziando il valore della supervisione sparsa.
- WorldBridge utilizza un meccanismo di joint flow matching e action forcing per collegare esperti video e azione in modo strutturato.
- Il modello raggiunge lo stato dell'arte su benchmark come RoboTwin 2.0 (96,23%) e DOMINO Level-1 (57,6%).
- La combinazione di previsione visiva e grounding d'azione è fondamentale per sviluppare robot che generalizzano oltre l'insieme iniziale di addestramento.
Perché conta. Questa ricerca offre spunti cruciali per chi sviluppa agenti autonomi o sistemi AI locali, dimostrando come integrare capacità predittive video con grounding d'azione possa migliorare drasticamente la generalizzazione dei compiti in ambienti fisici reali senza richiedere enormi dataset annotati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.