Wave Forcing: Towards Speed-of-Light Streaming Video Generation
Pubblicata su AIChronos il · fonte del · Yijie Jin, Yuxuan Liu, Jiajun Xu, Ye Huang, Chuzhi Wang, Jiayang Li (DENG Lab @ SJTU)
Wave Forcing (WF) è un approccio che co-progetta generazione addestramento ed esecuzione per abilitare la creazione di video lunghi in tempo reale con output continuo. Il metodo utilizza l'attenzione causale chunk-wise e distribuisce le fasi di denoising sfalsate tra repliche del modello per raggiungere una efficienza 1F1C (un chunk uscente ogni round forward). Un nuovo protocollo di addestramento a tre stadi adatta il modello al processo continuo, mentre Wave Runtime implementa parallelismi specifici per ottimizzare la comunicazione e l'overlappo computazione-comunicazione.
- Wave Forcing supera le sfide dell'efficienza e della qualità nei video lunghi eliminando i passaggi di refresh del cache duplicati dei metodi autoregressivi tradizionali.
- L'utilizzo di attenzione causale permette al modello di accedere a chunk precedenti più puliti prima che il loro denoising sia completato, migliorando la coerenza temporale.
- Sull'hardware H200, l'implementazione 4-step WF raggiunge un throughput end-to-end fino a 7.07 volte superiore rispetto alla configurazione single-GPU.
- Il protocollo di addestramento introduce sequenzialmente mixed-noise denoising, supervisione del moto e causal adaptation utilizzando storia auto-generata.
- Wave Parallelism (WP) offre un guadagno di throughput fino a 2.53x rispetto alle baseline Ulysses e Ring su scale di modello da 1.3B a 14B.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti o AI locale, questo approccio è cruciale perché dimostra come l'ottimizzazione dell'inference (in particolare per modelli Diffusion/Video) possa scalare linearmente su hardware multi-GPU senza degradazione della qualità.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.