RynnUnify: Towards Unified Embodied Brain
Pubblicata su AIChronos il · fonte del · Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang, Yifei Yang
Il documento presenta RynnUnify, un modello embodied unified da 16B che integra comprensione spaziale e pianificazione visiva a lungo termine tramite ragionamento interleaved video-lingua. Il sistema estende le sue capacità con un'agentic extension basata su reinforcement learning per dedurre stati non osservati e utilizza una world-action extension per il controllo diretto dei robot. Attraverso nuovi benchmark come Rynn-VP e Rynn-GEU, dimostra di superare modelli esistenti nella comprensione embodied e nella pianificazione visiva.
- RynnUnify combina forte comprensione embodied con pianificazione visiva a lungo termine attraverso ragionamento interleaved video-lingua.
- L'estensione agentic utilizza reinforcement learning per selezionare previsioni video nel ragionare su stati non osservati e risultati delle interazioni.
- La world-action extension traduce le capacità di previsione del modello in controllo robotico, raggiungendo il 51.5% di successo su compiti RoboCasa365.
- Il modello ottiene un punteggio medio di comprensione embodied superiore a tutti i modelli multimodali unified valutati e migliora Rynn-VP di oltre 9 punti rispetto a Cosmos 3 Nano.
- Rappresenta una fondazione condivisa per comprendere il mondo fisico, anticipare evoluzioni visive e controllare robot autonomi.
Perché conta. Questa architettura offre un percorso concreto verso la creazione di agenti AI locali in grado di pianificare azioni complesse nel tempo reale senza dipendere esclusivamente da dati storici statici. Per gli sviluppatori, rappresenta una risorsa fondamentale per integrare capacità di ragionamento spaziale e controllo hardware direttamente nei modelli LLM.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.