RealMe: Immersive Volumetric Video from Minimal Captures
Pubblicata su AIChronos il · fonte del · Chenxu Zhou, Zhiyuan Yu, Yudong Jin, Yinji Shentu, Yu Zhang, Jiaming Sun (zju3dv)
RealMe è un framework unificato che risolve il problema della creazione di video volumetrici immersivi partendo da risorse di cattura sparse e a bassa risoluzione. Il metodo si basa su un modello diffusivo ad alta definizione (2K) che trasforma le catture limitate in rappresentazioni 4D coerenti, adattando l'attenzione spaziale-temporale fattorizzata alla disposizione multi-view delle acquisizioni. Per colmare il divario tra video generati e reali, introduce una perdita di frequenza latente che fornisce supervisione nel dominio della frequenza. Gli esperimenti sul benchmark DNA-Rendering e sull'insieme dati RealVV dimostrano un'eccellenza in termini di fedeltà visiva e consistenza 4D rispetto agli state-of-the-art.
- Utilizza modelli diffusivi video ad alta risoluzione per potenziare catture limitate a 2K.
- Adatta l'attenzione spaziale-temporale fattorizzata alla geometria multi-view delle acquisizioni.
- Impone supervisione nel dominio della frequenza tramite una perdita di frequenza latente.
- Garantisce la consistenza temporale e visiva in scenari con risorse di cattura sparse.
- Supera i metodi convenzionali densi che richiedono costosi setup di acquisizione.
Perché conta. Sebbene focalizzato sulla computer grafica, RealMe illustra l'applicazione avanzata dei modelli diffusivi per la generazione coerente nel tempo e nello spazio, un principio trasferibile alla sintesi video controllata da agenti AI o al rendering di ambienti virtuali complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.