InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
Pubblicata su AIChronos il · fonte del · Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu (Meta)
InteractiveWorld è il primo ambiente verificabile per simulare interazioni a ciclo chiuso tra un assistente AI e un agente umano in scenari egocentrici. A differenza dei simulatori robot-centric esistenti, questo framework permette all'assistente di guidare attivamente l'utente che osserva la scena, comprende le istruzioni ed esegue azioni indipendentemente nell'ambiente fisico simulato. L'autori hanno introdotto InteractiveBench, un benchmark dinamico composto da 120 task multi-turn in sei categorie diverse per valutare queste capacità.
- InteractiveWorld simula realisticamente la collaborazione AI-umano dove l'output dell'assistente influenza direttamente lo stato osservato dall'utente e le azioni successive.
- Il sistema utilizza ricompense basate sullo stato (state-based rewards) per valutare oggettivamente ogni istruzione data in tempo reale durante il task.
- Gli esperimenti su 12 MLLM di frontiera rivelano che anche i modelli più potenti, come Claude Fable 5.1, raggiungono performance inferiori al 30% nei compiti a lungo termine (Guidance e Planning).
- Il lavoro fornisce una piattaforma verificabile fondamentale per la ricerca futura su assistenti interattivi MLLM capaci di aiutare realmente le persone nel mondo fisico.
- L'ambiente supera i limiti dei dati reali costosi e rari, offrendo un metodo scalabile per testare l'affidabilità degli AI assistants egocentrici.
Perché conta. È rilevante perché offre a sviluppatori di agenti e sistemi locali uno strumento standardizzato per validare le capacità di pianificazione e guida dei modelli senza dipendere da dati interattivi reali costosi, evidenziando il divario attuale tra i MLLM esistenti e l'affidabilità richiesta per compiti fisici complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.