Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
Pubblicata su AIChronos il · fonte del · Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu (Ropedia)
Ropedia W0 è il primo modello fondazionale egocentrico per la loco-manipolazione che unifica agenti umani e robotici attraverso rappresentazioni cinematiche condivise. Il sistema si basa su Xp-Data, un dataset curato di oltre 13.000 ore con annotazioni multimodali uniformi e controllo qualità sistematico. Utilizza una rappresentazione cinetica unica che codifica la locomozione tramite pose della telecamera e la manipolazione attraverso scheletri proiettati combinando cinematica inversa specifica per il robot con annotazioni manuali dei punti chiave.
- Introduzione di Xp-Teleop, un benchmark a lungo termine basato su dati di teleoperazione umanoidale ad alta qualità.
- Il modello dimostra prestazioni state-of-the-art in cinque benchmark cross-embodyment e su video egocentrici umani non visti durante l'addestramento.
- L'aumento dei dati pre-addestrati sull'uomo migliora le performance sia nelle valutazioni umane che robotiche, anche dopo la distillazione per il rollout in tempo reale.
- Il modello abilita interazioni live VR con rollouts di durata minima grazie all'ottimizzazione post-distillazione.
Perché conta. Fornisce un framework scalabile per integrare capacità locomotorie e manipolative in agenti embodied, utile per lo sviluppo di sistemi autonomi ibridi uomo-robot. La rappresentazione cinetica unificata facilita il trasferimento zero-shot tra diversi tipi di embodiment, riducendo la necessità di ri-addestramento specifico.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.