Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
Pubblicata su AIChronos il · fonte del · Ruopeng Gao, Yukun Huang, Jiarui Hu, Shuai Wang, Wenbo Hu, Ying Shan (ARC Lab, Tencent)
I modelli di diffusione autoregressivi per video generano clip sequenzialmente, ma la continuità visiva locale non garantisce sempre un'evoluzione fisica plausibile delle scene. L'autore introduce Future Chunk Prediction (FCP), un obiettivo ausiliario ottimizzato congiuntamente al denoising forzato dal docente che prevede chunk temporali separati senza accesso al contesto visivo intermedio. Questo approccio sfrutta direttamente la supervisione dai video di addestramento, eliminando la necessità di encoder visivi pre-addestrati aggiuntivi e lasciando invariata l'inferenza autoregressiva standard.
- FCP supera i limiti della ridondanza temporale che può agire come scorciatoia durante il denoising forzato dal docente.
- Il metodo richiede un budget computazionale di addestramento inferiore rispetto all'addestramento autoregressivo standard con forzatura del docente.
- Le visualizzazioni suggeriscono che FCP favorisce uno spazio rappresentativo più strutturato, utile per costruire world models autoregressivi.
- L'approccio non necessita di encoder visivi pre-addestrati esterni e mantiene inalterata la pipeline di inferenza.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, FCP offre un percorso per migliorare l'esecuzione fisica dei modelli generativi multimodali senza aumentare il carico computazionale o introdurre dipendenze da encoder esterni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.