HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
Pubblicata su AIChronos il · fonte del · Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, Xinguang Xiang
HiFOR è un framework gerarchico per modelli Vision-Language-Action (VLA) che integra la previsione del futuro con il grounding nel mondo tramite azioni. Il modello utilizza una Hierarchical Dependency Mask (HDM) per prevedere congiuntamente l'evoluzione degli stati a breve termine, i milestone semantici e gli obiettivi finali. Successivamente, un processo di modellazione latente consapevole della struttura organizza le rappresentazioni future lungo dimensioni temporali, visive e spaziali per facilitare il recupero fine-granulare. Infine, la retrieval guidata dalle azioni recupera dinamicamente informazioni rilevanti dal mondo latente strutturato basandosi sulle rappresentazioni delle azioni in evoluzione durante il denoising.
- Integrazione di previsioni a breve e lungo termine attraverso una gerarchia dipendente (HDM) per migliorare la comprensione della dinamica ambientale.
- Organizzazione esplicita delle rappresentazioni latenti future secondo dimensioni temporali, visive e spaziali per un recupero più preciso.
- Meccanismo di retrieval adattivo che seleziona informazioni future pertinenti basandosi sulle azioni in corso durante il processo di denoising.
- Validazione su due benchmark simulati e sei compiti reali di manipolazione robotica dimostrando l'efficacia dell'approccio gerarchico.
Perché conta. Questa architettura è rilevante per gli sviluppatori che lavorano con agenti autonomi perché risolve il problema del disallineamento tra obiettivi a lungo termine e azioni immediate, migliorando la pianificazione strategica dei VLA. L'approccio di world grounding guidato dalle azioni offre un metodo robusto per integrare simulazioni predittive in sistemi AI locali senza sacrificare l'allineamento con i requisiti dell'azione corrente.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.