RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
Pubblicata su AIChronos il · fonte del · Tan Sang Nguyen, Yi Ru Wang, Shailesh Shailesh, Gang Yang, Jiamo Hu, Jianuo Jiang (Hugging Face)
RoboColosseum è un framework distribuito per valutare le politiche robotiche su larga scala in ambienti reali e diversificati. Lo studio confronta cinque policy Vision-Language-Action (VLA) e tre agenti AI di frontiera attraverso due track: uno senza adattamento specifico del compito (Open Track) e uno con fine-tuning basato su dimostrazioni standardizzate. I risultati evidenziano che gli agenti di frontiera competono bene con le VLA specializzate, ma tutti i sistemi faticano a completare compiti in mondi aperti; il ranking delle policy mostra scarsa coerenza tra diverse incarnazioni robotiche (Kendall W = 0.24). L'analisi del progresso parziale rivela differenze significative anche nei casi di fallimento totale dei task.
- Il framework combina un servizio di politiche unificato e protocolli standardizzati su una rete di robot operati localmente in ambienti diversi.
- Nel Fine-tune Track, GR00T N1.7 domina sull'embodiment SO-101 mentre pi0.5 è leader per Franka e Bimanual-YAM dopo l'adattamento a 20 task.
- Il ranking delle performance Open Track non predice bene le prestazioni relative post-fine-tuning, con significativi ribaltamenti di classifica su tutte le incarnazioni condivise.
- La misurazione del progresso parziale è cruciale per valutare sistemi che falliscono completamente in compiti specifici (es. G1 Humanoid mostra progressi dal 13.3% al 23.2%).
- L'active matchmaking raggiunge un accordo sul ranking comparabile con notevolmente meno tentativi fisici rispetto al campionamento uniforme.
Perché conta. È rilevante per gli sviluppatori di agenti e AI locale perché definisce nuovi standard per il benchmarking distribuito, mostrando come valutare la generalizzazione delle policy VLA senza addestrare su ogni singolo scenario. Inoltre, evidenzia l'importanza di metriche oltre il semplice successo del task (come il progresso parziale) quando si lavora con modelli che operano in ambienti non strutturati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.