From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks
Pubblicata su AIChronos il · fonte del · May Espinola, Qifan Zhang, Yu Xiang
Questo report presenta un framework chiuso per valutare i modelli AI frontier su compiti di manipolazione robotica standardizzati (LIBERO-10) senza fine-tuning specifico. Sono stati testati sei modelli leader del mercato in diverse configurazioni, ottenendo tassi di successo variabili tra il 43% e il 44%. I risultati evidenziano che l'aumento dello sforzo ragionamento migliora le prestazioni ma comporta costi inferenziali aggiuntivi, con differenze significative nelle capacità spaziali rispetto a quelle di posizionamento oggetti.
- Il framework permette ai modelli di controllare direttamente un robot tramite osservazioni visive e chiamate strutturate agli strumenti senza training specifico.
- GPT-6 Astra ha ottenuto il miglior risultato con una percentuale di successo del 44%, seguito da Gemini-4 Argon al 43% su 1.800 episodi valutati.
- I modelli mostrano prestazioni robuste nel posizionamento oggetti ma faticano con disposizioni spaziali precise e interazioni multi-step complesse.
- L'aumento dello sforzo di ragionamento (reasoning effort) migliora generalmente le performance, sebbene i benefici varino tra diversi modelli AI.
Perché conta. È rilevante per gli sviluppatori perché quantifica il gap attuale tra la capacità teorica dei LLM nel ragionamento e l'affidabilità delle azioni fisiche reali in ambienti robotici non strutturati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.