Holi-World: Building Holistic World Intelligence from Human-Ego Experience
Pubblicata su AIChronos il · fonte del · Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, Xuan-Li Chen (Ropedia)
HOLI-WORLD è un ecosistema integrato che trasforma le registrazioni dell'esperienza egocentrica umana in risorse di apprendimento scalabili per l'intelligenza artificiale. Il sistema combina percezione statica e dinamica tramite HOLIWORLD-Foundry per costruire record del mondo che collegano la struttura della scena, gli stati degli oggetti e le cronologie delle interazioni senza dipendere da annotazioni manuali costose. Questi dati vengono organizzati in risorse di apprendimento 'grounded' (HOLI-WORLD-Data) utilizzate addestrare modelli visuo-linguistici come HOLIWORLD-VL-4B, che dimostra prestazioni superiori nella percezione statica e nel tracciamento dinamico rispetto a benchmark esistenti.
- Integrazione completa del ciclo di vita dei dati: cattura esperienza, costruzione automatica dei record, organizzazione in risorse di apprendimento ed evaluation indipendente tramite HOLIWORLD-Bench.
- HOLI-WORLD-Foundry unisce percezione statica e dinamica per collegare persistentemente la struttura della scena con gli stati evolutivi degli oggetti e le storie delle interazioni.
- L'uso di circa 80K coppie domanda-risposta (QA pairs) derivanti da scene auto-collezionate permette addestrare modelli come HOLIWORLD-VL-4B per migliorare il ragionamento spaziale e temporale.
- HOLI-WORLD-Bench utilizza annotazioni umane indipendenti su registrazioni tenute fuori dal training set per valutare la qualità delle annotazioni automatizzate e la comprensione appresa del mondo dinamico.
- Il framework supera i limiti dei dataset tradizionali (come ScanNet) dimostrando performance robuste nella tracciamento dinamico su benchmark come EgoDynamic4D.
Perché conta. ["Fornisce una base pratica per espandere le risorse di apprendimento dai flussi continui dell'esperienza umana, riducendo la dipendenza da dati statici e annotazioni costose.", 'Permette agli sviluppatori di costruire agenti con una comprensione più profonda del mondo dinamico (spazio-tempo) essenziale per applicazioni robotiche o AR/VR realistiche.']
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.