Self-Distilling Future Video Representations for World Action Models
Pubblicata su AIChronos il · fonte del · Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu (KAIST AI)
Il documento introduce FRED (Future REpresentation learning via self-Distillation with temporal context), un framework per World Action Models (WAMs) che migliora la qualità delle rappresentazioni video future estratte da un singolo passo di denoising. Utilizzando il self-distillamento, il modello prevede queste rappresentazioni partendo dal rumore e utilizzando le osservazioni future reali come target. Inoltre, condiziona il modello su osservazioni storiche per fornire contesto temporale alle previsioni. Questo approccio supera i modelli concorrenti in scenari di manipolazione reale, offrendo guadagni significativi in compiti a lungo termine e generalizzazione zero-shot.
- FRED utilizza il self-distillamento per prevedere rappresentazioni video future direttamente dal rumore senza iterazioni costose.
- Il framework condiziona la previsione su osservazioni storiche per migliorare l'accuratezza del contesto temporale.
- Raggiunge un tasso di successo al 50.0% in compiti non presenti nei dati di addestramento dei robot, superando il 19.4% dei migliori concorrenti.
- Migliora significativamente il trasferimento di skill da umano a robot (human-to-robot skill transfer).
- Dimostra superiorità nella generalizzazione zero-shot in ambienti out-of-domain e su compiti a lungo termine.
Perché conta. Per gli sviluppatori che lavorano con agenti autonomi o sistemi locali, FRED offre un metodo per generare rappresentazioni temporali di alta qualità senza costi computazionali elevati legati al denoising iterativo. Questo è cruciale per implementare politiche robotiche generaliste efficienti e robuste in scenari reali complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.