WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control
Pubblicata su AIChronos il · fonte del · Lei Cao, Yu Liu, Wenhua Liao, Peng Zhang, Fei Wang, Hao Zhang
Il paper introduce CLACT, un dataset su larga scala e benchmark per studiare le sfide della generazione di video con traiettorie di telecamera ad angolo ampio. Viene proposto WorldCast, un framework che garantisce la coerenza del mondo durante il movimento della telecamera proiettando l'inquadratura iniziale in una nuvola di punti 3D allineata alla traiettoria target. Per compensare le informazioni incomplete del personaggio durante questi movimenti, viene introdotta Geometry-Aligned Memory Attention (GAMA), che utilizza un sistema di coordinate comune per guidare il recupero e l'iniezione delle caratteristiche rilevanti.
- Esistono metodi esistenti incapaci di seguire traiettorie ad angolo ampio con rotazione, traslazione e variazione del raggio simultaneamente.
- I cambiamenti della prospettiva rivelano regioni non visibili inizialmente, causando distorsioni geometriche, degradamento dell'aspetto e deriva dell'identità.
- WorldCast utilizza la retro-proiezione in nuvola di punti 3D per fornire guida geometrica esplicita e maschere di copertura durante il rendering lungo la traiettoria.
- Geometry-Aligned Memory Attention (GAMA) allinea le geometrie della telecamera target e degli anchor multi-view in un frame di coordinate comune.
- Le valutazioni dimostrano che l'approccio preserva accuratezza nella traiettoria, geometria del personaggio, aspetto e identità.
Perché conta. Questa ricerca è rilevante per gli sviluppatori di agenti AI e sistemi locali poiché affronta il problema fondamentale della coerenza spaziale in scenari complessi, essenziale per applicazioni che richiedono rendering realistico o simulazioni fisicamente accurate oltre la semplice generazione testuale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.