Native Action-Prior Learning from Videos for World Action Models
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · Zhaochong An, Fei Zhang, Menglin Jia, Duncan Frost, Zijian Zhou, Yikai Wang (Meta)
NAVA-WAM è un modello che integra dinamiche visive future con la previsione delle azioni robotiche attraverso l'apprendimento nativo di prior d'azione direttamente da video privi di annotazioni. Il metodo evita il trasferimento indiretto tra rappresentazioni e controllo o l'utilizzo di modelli separati per le azioni latenti, pre-addestrando una Action-DiT tramite supervisione del flusso dei frame futuri propagata attraverso un'attenzione congiunta strutturata sulle transizioni. Nella seconda fase, dimostrazioni etichettate vengono utilizzate per post-istruire il modello per il controllo robotico mediante matching del flusso video-azione e attenzione asimmetrica che disaccoppia la branca visiva dal denoising iterativo delle azioni. Gli esperimenti confermano una superiore performance rispetto agli approcci precedenti sia in distribuzioni note che fuori distribuzione, garantendo efficienza nell'uso dei label d'azione e generalizzazione efficace su robot reali.
- Introduzione di NAVA-WAM per l'apprendimento nativo del prior d'azione direttamente da video senza annotazioni delle azioni.
- Utilizzo della Action-DiT ottimizzata tramite flow-matching supervisionato sulle transizioni visive future e attenzione congiunta strutturata.
- Post-training con dimostrazioni etichettate che disaccoppia la branca visiva dal denoising iterativo per abilitare un'inferenza efficiente delle sole azioni.
- Superiorità consistente rispetto agli approcci precedenti in scenari sia in-distribution che out-of-distribution.
- Dimostrazione di forte generalizzazione su robot reali e alta efficienza nell'utilizzo dei dati etichettati.
Perché conta. Questo approccio è rilevante per sviluppatori di agenti AI perché offre un percorso scalabile per pre-addestrare politiche d'azione direttamente da video generici, riducendo la dipendenza costosa e limitata dai dataset robotici annotati. Permette di integrare dinamiche del mondo reale nei modelli locali senza necessariamente passare attraverso fasi intermedie complesse di adattamento.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.