Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
Pubblicata su AIChronos il · fonte del · Songlin Yang, Zhe Wang, Xiaotong Zhao, Xi Wang, Ran Zhang, Shuai Li (Tencent)
Il paper propone Factor-Aware Predictive Learning (FAPL), un framework che integra i latenti dei Multimodal Large Language Models (MLLM) nella generazione di video cinematografici tramite una Video Diffusion Transformer (DiT). L'approccio risolve il problema del bypass automatico delle rappresentazioni MLLM, garantendo sia il controllo consapevole dei fattori (personaggio, scena, azione, camera) che l'inferenza temporale da input limitati. Attraverso tre stadi di addezzamento complementari—grounding con latenti-only, sostituzione dello span per i fattori e ottimizzazione dell'MLLM tramite osservazioni video complete—il metodo supera le baseline su task come la generazione sparsa-to-video e l'editing consapevole dei fattori.
- FAPL stabilisce l'utilizzo efficace dei latenti MLLM come prerequisito condiviso per generare video cinematografici di alta qualità.
- Il training 'latent-only generator grounding' forza la DiT a utilizzare i latenti dell'MLLM congelato, evitando che questi vengano ignorati dai pathway nativi di conditioning.
- La tecnica di 'factor-span replacement' addestra il modello a preservare fattori non target mentre modifica quelli specifici (es. azione o scena).
- Lo stadio finale ottimizza l'MLLM e il connettore tramite osservazioni video complete, permettendo all'inferenza temporale da input limitati.
- Il metodo valida contributi significativi nell'uso delle feature MLLM, nel controllo temporale e nella coordinazione dei fattori.
Perché conta. Per gli sviluppatori che lavorano con LLM o agenti AI locali, questo paper è rilevante perché offre una strategia per integrare modelli linguistici multimodali in pipeline di generazione video senza perdere il loro valore semantico. Dimostra come forzare l'utilizzo dei latenti pre-addestrati possa migliorare drasticamente la coerenza temporale e il controllo granulare degli output, un aspetto cruciale anche per agenti che devono generare contenuti dinamici o simulazioni visive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.