VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
Pubblicata su AIChronos il · fonte del · Yexin Liu, Yunlong Lin, Zehan Wang, Guangxin He, Xinli Xu, Jiajun Zha (Tencent)
VidDub introduce la supervisione cross-audio consapevole del sostituzione per il doppiaggio video, risolvendo il conflitto tra i movimenti labiali originali e l'audio target. Il metodo utilizza un insegnante che impara una sincronizzazione labiale accurata senza regressione verso i movimenti labiali di origine conflittanti, prima di distillare il modello in due passaggi di denoising. Questa architettura permette di preservare l'identità del parlante, la posa della testa e lo sfondo mentre si adatta perfettamente al nuovo audio. L'autore rilascia anche VidDub-Bench e codice unificato per valutare le prestazioni su più benchmark.
- Implementazione di una supervisione cross-audio che maschera le perdite di ricostruzione della bocca di origine quando l'audio viene sostituito.
- Distillazione in due passaggi (2 NFE) che combina forte sincronizzazione labiale con qualità visiva superiore e preservazione dell'identità.
- Utilizzo del regressione della traiettoria abbinata per trasferire le traiettorie guidate da CFG dall'insegnante allo studente a due passaggi.
- Recupero della qualità visiva tramite distillazione di matching della distribuzione dopo la compressione dei passaggi.
- Miglioramento dello Sync-C cross-audio del 0.833 rispetto ai metodi esistenti che non gestiscono il conflitto dell'audio sorgente.
Perché conta. È rilevante per sviluppatori di AI locale e agenti perché offre un framework efficiente a due passaggi per generare video doppiati con alta fedeltà visiva, riducendo drasticamente i costi computazionali rispetto ai modelli full-context offline.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.