MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion
Pubblicata su AIChronos il · fonte del · Houyuan Chen, Fanzhou Wang, Xiangyu Fan, Zesong Qiu, Yukun Wei, Songlin Yang (SenseNova)
Il paper introduce MT Forcing, un nuovo paradigma di addestramento per la modifica multi-turno delle immagini basato su modelli multimodali unitari (UMMs) e diffusione autoregressiva. Per mitigare il drift visivo e l'incoerenza tra i turni, propone Single-Turn Distribution Matching Distillation che supervisiona le self-rollouts dello studente con un insegnante applicando modifiche cumulative in un singolo turno. Inoltre, viene introdotta Teacher-Forcing Guidance per regolare le transizioni dipendenti dalla storia durante la fase di distillazione, garantendo una consistenza del contenuto superiore rispetto al solo matching della distribuzione per turno.
- Esiste il problema del drift visivo e dell'incoerenza nei metodi esistenti dopo pochi turni di editing delle immagini.
- Single-Turn DMD evita l'accumulo di errori ricorsivi supervisionando le self-rollouts con un insegnante che applica modifiche cumulative in un solo turno.
- Teacher-Forcing Guidance agisce come regolarizzatore durante la distillazione per incoraggiare una consistenza del contenuto tra i turni diversi da quella garantita dal matching della distribuzione.
- Gli esperimenti dimostrano significativi miglioramenti nella stabilità visiva e nella coerenza cross-turno dei modelli multimodali unitari (UMMs).
- L'approccio è basato su una diffusione autoregressiva, unendo capacità testuali e generative per l'editing iterativo.
Perché conta. Per gli sviluppatori che lavorano con LLM o agenti AI locali, questo approccio offre soluzioni critiche per mantenere la coerenza contestuale in task multi-turno complessi come il ragionamento visivo o l'interazione multimodale prolungata. La tecnica di distillazione presentata può essere applicata a modelli autoregressivi standard per ridurre i problemi di deriva (drift) tipici delle sessioni lunghe, migliorando così la qualità dell'inference in scenari interattivi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.