ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
Pubblicata su AIChronos il · fonte del · Yihui Yang, Yuanhong Yu, Jiawei Wang, Zhongrui Yu, Jia Shi, Kun Zhan
ScaleNav è un framework end-to-end per la navigazione locale condizionata al linguaggio che supera il gap sim-to-real sfruttando video egocentrici di internet. Il modello utilizza una strategia di addestramento in tre fasi: pre-addestramento su video istruiti, allineamento delle azioni con dati simulati e fine-tuning congiunto. Questo approccio permette a un robot di navigare verso target visibili nell'osservazione iniziale raggiungendo tassi di successo superiori agli attuali baselines.
- Sfrutta video egocentrici da internet come fonte scalabile per apprendere dinamiche visuali orientate al goal senza costi elevati di raccolta dati reali.
- Implementa un'unified world-action framework con tre stadi: instruction-conditioned video pretraining, action alignment e joint fine-tuning.
- Raggiunge l'86.5% di successo su Short-Horizon OVON (single-view) e il 94.9% sul benchmark HabitatGS-LN.
- Dimostra capacità di generalizzazione reale tramite deployment su un robot quadrupede, colmando efficacemente il gap tra simulazione e realtà fisica.
Perché conta. Per gli sviluppatori che lavorano con agenti autonomi o LLM per la navigazione, ScaleNav offre una via scalabile per generare policy di azione robuste senza dipendere esclusivamente da costosi dataset robotici reali. La capacità del modello di apprendere dinamiche visive complesse da video web e trasferirle alla realtà fisica è cruciale per implementazioni pratiche di AI locale in ambienti non strutturati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.