MoviEdit: Long-form Multi-Shot Video Editing Made Easy
Pubblicata su AIChronos il · fonte del · Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang (Adobe)
L'articolo presenta MoviEdit, un framework end-to-end per il video editing a lungo formato multi-shot che garantisce coerenza attraverso cambi di scena e soggetti. Il sistema utilizza una pipeline automatica di generazione dati su larga scala per ottenere 87K clip annotate senza intervento manuale. Architetturalmente, impiega un design cascaded bidirectional-autoregressive: uno stage leggero crea prima uno schizzo globale coerente su rappresentazioni spaziotemporali compresse, poi lo raffina autoregressivamente sull'intero video. Il lavoro introduce inoltre MoviEdit-Bench, un benchmark dedicato per valutare sistematicamente le prestazioni in scenari di editing guidati da testo o immagini.
- MoviEdit gestisce contesti visivi sostanzialmente più lunghi rispetto agli editor single-shot convenzionali mantenendo la coerenza dell'edit intenzionale.
- La pipeline automatica genera dati supervisionati cross-shot su footage multi-view sincronizzati, video reali e contenuti generati senza annotazione manuale.
- L'architettura combina uno stage bidirezionale leggero per lo schizzo globale con una propagazione autoregressiva per il raffinamento dettagliato.
- MoviEdit-Bench è stato sviluppato come benchmark specifico per valutare sistematicamente le capacità di editing a lungo formato multi-shot.
- Gli esperimenti dimostrano che MoviEdit supera i modelli open-source esistenti e compete con i modelli frontier dell'industria in scenari text-guided e image-guided.
Perché conta. Questa architettura ibrida (bidirezionale + autoregressiva) offre un pattern progettuale prezioso per chi sviluppa agenti AI o sistemi di editing video locali che devono gestire contesti lunghi senza saturare la memoria.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.