L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
Pubblicata su AIChronos il · fonte del · Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han (KAIST AI)
L3G-World introduce un modello per la generazione di mondi interattivi in tempo reale utilizzando una memoria basata su Gaussiani 3D latenti (L3G). A differenza degli approcci esistenti che scalano male con la lunghezza dello stream generato, questa architettura fa crescere la memoria in base all'estensione della scena osservata. Il sistema alterna autoregressivamente un updater di memoria e un video diffusion transformer (DiT), permettendo una rappresentazione compatta del mondo senza bisogno di re-codificare i rendering RGB nel spazio latente.
- La memoria L3G combina l'efficienza della ricostruzione feed-forward con una rappresentazione della scena rapidamente renderizzabile tramite Gaussiani 3D.
- Ogni Gaussiano memorizza un feature latente VAE, consentendo il rendering diretto nello spazio latente del DiT senza re-codifica RGB.
- Il metodo raggiunge qualità di generazione state-of-the-art e coerenza spaziale a lungo termine con fino a 38.6 volte meno primitive 3D rispetto alle baseline precedenti.
- L'approccio abilita la generazione in tempo reale a 9 FPS, superando le limitazioni degli approcci basati su contesto temporale o memoria esplicita 3D tradizionale.
Perché conta. Per gli sviluppatori di agenti e AI locale, L3G-World offre un paradigma per gestire mondi persistenti in tempo reale con risorse computazionali ridotte. L'uso del rendering diretto nello spazio latente evita colli di bottiglia I/O legati alla re-codifica delle immagini RGB, cruciale per applicazioni interattive su hardware limitato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.