Rollback: Experience Backtracking in World Models for Policy Improvement
Pubblicata su AIChronos il · fonte del · Jiayi Luo, Yang Zhang, Liliang Chen, Nan Wang, Chen Gao, Boxiang Qiu (AgiBot World)
Rollback è un paradigma di miglioramento delle policy che trasforma i world models da simulatori passivi in motori per scenari controfattuali. Il metodo permette di tornare indietro a punti decisionali critici, esplorare azioni alternative e attribuire il successo alle singole decisioni senza richiedere modelli di valore separati. Questo approccio crea un ciclo auto-rinforzante dove l'esperienza del mondo reale affina continuamente il world model tramite grounding fisico in tempo di test (test-time physics grounding). Gli esperimenti dimostrano che Rollback supera le baseline esistenti, raggiungendo e superando i tassi di successo umani su compiti complessi come il lancio della palla entro 8 ore.
- I world models vengono utilizzati per esplorare controfattuali rewindando a decisioni passate invece di operare solo in avanti nel tempo.
- Il sistema unifica la ricerca distribuita del modello con l'esecuzione asincrona su robot reali, creando un ciclo di miglioramento continuo.
- Non è necessario apprendere separatamente un valore model; il supervisionamento viene distillato a livello d'azione tramite scenari controfattuali.
- Il world model corregge le proprie dinamiche utilizzando transizioni reali attraverso una pipeline leggera LoRA durante l'inferenza.
- Rollback migliora i tassi di successo assoluti del 10.67% al 11.85% su tre compiti robotici rispetto alle baseline più forti.
Perché conta. Permette agli sviluppatori di integrare capacità di simulazione fisica e ragionamento controfattuale direttamente nei flussi di lavoro degli agenti autonomi. Riduce la dipendenza da costose interazioni reali durante il training, sfruttando l'esperienza del mondo reale solo per correggere le dinamiche tramite LoRA.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.