EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
Pubblicata su AIChronos il · fonte del · Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun (Ropedia)
EgoXperience introduce un paradigma full-stack per ricostruire attività umane da video egocentrici, garantendo coerenza nel mondo reale attraverso annotazioni automatiche e supervisione allineata. Il dataset EgoX-Data-6M raccoglie 50 ore di manipolazione e locomozione in ambienti indoor ed outdoor con captioning a livello secondario, mentre il benchmark EgoX-Bench valuta la ricostruzione congiunta. Il modello EgoX utilizza video monoculare egocentrici e maschere degli oggetti al primo frame per ottenere una ricostruzione metrica condivisa della telecamera, dello scenario, delle mani e degli oggetti in un unico sistema di coordinate mondiali.
- EgoX-Engine accoppia il tracking geometrico verificato con l'allineamento mondiale basato su SLAM per fornire supervisione coerente a camera, scena, mani e oggetti.
- Il modello EgoX esegue la ricostruzione metrica congiunta di tutti gli elementi in un passaggio forward singolo utilizzando video monoculare egocentrici.
- Rispetto ai baselines più forti, il metodo riduce significativamente gli errori della telecamera (68.9%), delle mani (65.6%) e della profondità (42.9%).
- EgoXperience affronta la sfida di integrare osservatore in movimento, geometria circostante e interazioni mano-oggetto in un mondo coerente.
- Il dataset include task-driven manipulation e locomotion selezionati per valutare le prestazioni state-of-the-art nella stima della scena.
Perché conta. Sebbene focalizzato sulla visione egocentrica, l'approccio di EgoXperience offre un framework robusto per la comprensione spaziale contestuale che può essere integrato in agenti autonomi o sistemi AI locali operanti in ambienti fisici reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.