OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images
Pubblicata su AIChronos il · fonte del · Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung, Hyojin Jang
OmniShowcase affronta le sfide nella generazione video di soggetti specifici da poche immagini di riferimento quando la telecamera rivela superfici non visibili negli input. Il metodo supera i limiti delle tecniche esistenti che si basano su singole o multiple viste senza esplicitare la struttura 3D connettiva, e risolve il problema dei dataset di addestramento che non garantiscono coerenza del soggetto sottostante durante variazioni della prospettiva. La soluzione è composta da un pipeline automatizzato per la sintesi dati con traiettorie di telecamera diversificate (fino a orbite complete da 360 gradi) e da una tecnica di conditioning geometrico basata su mappe delle normali superficiali ricostruite senza allineamento temporale. Viene introdotto Showcase-4K, un corpus di video basato su asset 3D con condizionamento derivato dalla ricostruzione, e ShowcaseBench per la valutazione.
- Introduzione di OmniShowcase: una soluzione che combina sintesi dati automatizzata e conditioning geometrico per garantire coerenza del soggetto in variazioni panoramiche della vista.
- Utilizzo di mappe delle normali superficiali (surface-normal maps) ricostruite dai riferimenti come condizione geometrica, eliminando la necessità di allineamento temporale con i frame generati.
- Creazione di Showcase-4K: un corpus vasto che copre 12 movimenti della telecamera su 88 configurazioni di traiettoria utilizzando asset 3D e conditioning derivato dalla ricostruzione.
- Superiorità nelle metriche di identità del soggetto (subject identity) e coerenza 3D rispetto agli approcci precedenti, mantenendo al contempo qualità video competitive.
- Disponibilità pubblica tramite ShowcaseBench con mesh sorgente e parametri della telecamera per il rendering dei video utilizzati nella valutazione.
Perché conta. Sebbene OmniShowcase sia focalizzato sulla generazione video (S2V), i principi di conditioning geometrico esplicito e sintesi dati controllata sono rilevanti per sviluppatori che costruiscono agenti AI o sistemi locali, poiché offrono nuovi paradigmi per gestire la coerenza spaziale in scenari multi-modalità complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.