VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
Pubblicata su AIChronos il · fonte del · Yihong Luo, Tianyu Pang, Tianyang Hu
VA-TDM introduce un approccio unificato per migliorare i modelli di diffusione a pochi passi attraverso la distillazione avversariale basata sulla velocità. Il metodo utilizza un critico appreso per confrontare i campi dello studente e del docente, trasformando le discrepanze in feedback di apprendimento che unifica diverse tecniche esistenti come il matching dei punteggi e il matching dei momenti. VA-TDM supervisiona il denoising parziale lungo la traiettoria dello studente combinando l'apprendimento online della velocità sensibile alle transizioni con una supervisione duale. I risultati dimostrano prestazioni state-of-the-art in generazione testo-immagine e testo-video, superando i metodi few-step precedenti e avvicinandosi alla qualità dei modelli a molti passi.
- Unifica score distillation, Fisher-based matching e moment matching tramite un framework basato su campi di velocità.
- Implementa il trajectory distribution matching per fornire supervisione durante le fasi intermedie del denoising.
- Combina transition-aware online velocity learning con dual-form VAD supervision across intermediate student transitions.
- Raggiunge prestazioni SOTA in 4 passi sia per text-to-image che per text-to-video su backbones fino a 33B MiniMax-H3.
- Il modello VA-TDM-H3 supera Fast-H3 e si avvicina di più alle preferenze umane rispetto all'originale H3 a molti passi.
Perché conta. Questa tecnica è rilevante per gli sviluppatori che lavorano con LLM e agenti perché permette di comprimere modelli complessi (come MiniMax-H3) in generatori efficienti a pochi passi senza sacrificare la qualità percepita, facilitando l'inferenza locale o in tempo reale. Inoltre, l'approccio unificato offre nuove direzioni per il fine-tuning di modelli di diffusione e flow matching, riducendo i costi computazionali del training.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.