WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · Wangbo Yu, Kunhao Liu, Wenbo Hu, Shenghai Yuan, Chaoran Feng, Haiyang Zhou (ARC Lab, Tencent)
WorldCrafter è un modello di mondo video che apprende una memoria implicita consapevole del 3D interrogabile tramite telecamera per abilitare l'esplorazione interattiva di ambienti dinamici. Il suo approccio chiave consiste nel far sì che la prospettiva richiesta modelli come le evidenze multi-view vengono compresse entro il budget limitato dei token del generatore video, senza corrispondenze esplicite basate sulla profondità. Addestrato congiuntamente con un generatore video e dotato di un modulo encoder-memoria condizionato alla posa, integra osservazioni storiche in un insieme fisso di token specifici per la vista target prima della rimozione del rumore. Combinando questa memoria con il contesto temporale recente e distillazione a pochi passaggi, WorldCrafter permette l'esplorazione streaming di scene partendo da una singola immagine o prompt testuale.
- Implementa una memoria implicita 3D-aware interrogabile tramite telecamera per garantire coerenza su orizzonti temporali lunghi e attraverso diverse prospettive.
- Ottimizza la compressione delle evidenze multi-view in base alla prospettiva richiesta, adattandosi al budget limitato dei token del generatore video.
- Integra osservazioni storiche nel processo di denoising tramite un encoder-memoria addestrato congiuntamente e un modulo readout condizionato alla posa.
- Abilita l'esplorazione streaming di scene statiche e dinamiche partendo da input minimi come una singola immagine o prompt testuale.
- Migliora significativamente la coerenza a lungo termine e l'accuratezza del controllo della telecamera mantenendo alta qualità visiva.
Perché conta. Questa architettura è rilevante per sviluppatori di agenti AI locali poiché dimostra come integrare memoria esplicita o implicita in modelli generativi video, permettendo agli agenti di mantenere coerenza contestuale durante esplorazioni prolungate senza dipendere da corrispondenze geometriche esplicite costose.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.