Grounded Action Model: 3D Grounding as a Foundation for Robotics
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · Gehao Zhang, Weikai Huang, Shailesh Shailesh, Yiyan Peng, Jiafei Duan, Ranjay Krishna (National University of Singapore)
Il Grounded Action Model (GAM) introduce un nuovo paradigma per i robot foundation models basato sulla grounding metrica in 3D. A differenza dei modelli pre-addestrati esistenti che imparano implicitamente la posizione degli oggetti, GAM trasforma prompt linguistici o spaziali in una rappresentazione condivisa centrata sugli oggetti che include caratteristiche visive e geometria metrica. Questa architettura utilizza un transformer a flussi multipli per mescolare questa rappresentazione con lo stato storico del robot al fine di prevedere chunk d'azione, supportando sia l'autonomia completa sia il ruolo di controller low-level guidato da pianificatori ad alto livello.
- GAM utilizza una rappresentazione condivisa centrata sugli oggetti per integrare caratteristiche visive focalizzate sul target e geometria metrica.
- Il modello può essere condizionato tramite prompt linguistici, punti o box, permettendo flessibilità nell'input multimodale.
- Su RoboTwin 2.0 raggiunge un tasso di successo medio del 55.3% su 50 compiti, superando Spatial Forcing (52.0%).
- Sui due robot reali testati, GAM mantiene il 85% dei successi sotto shift visivo rispetto al solo 20% per π_{0.5}.
- La composizione con un pianificatore Molmo2 su Franka ottiene una step completion del 64.7% in scenari In-Distribution.
Perché conta. Questa architettura è rilevante perché dimostra come integrare la grounding metrica esplicita nei foundation models possa migliorare drasticamente la robustezza e l'affidabilità degli agenti autonomi, specialmente quando si opera con input spaziali complessi o in scenari non visti durante il training.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.