Intrinsic Distribution Matching
Pubblicata su AIChronos il · fonte del · Deyuan Liu, Yansen Han, Kaiwen Zheng, Jun Xie, Jiacheng Liu, Zhenglin Cheng (inclusionAI)
Il metodo Intrinsic Distribution Matching (IDM) migliora la generazione testo-immagine in uno o pochi passi utilizzando il distillamento di corrispondenza della distribuzione. A differenza dei metodi precedenti che richiedono una rete separata per le score fake, IDM stima le differenze tramite rami interni di velocità e introduce un vincolo esplicito sui momenti statistici (media e deviazione standard). L'approccio decompone il campo reverse-KL in componenti gaussiane e non-gaussiane, utilizzando la copia EMA del generatore senza bisogno di encoder esterni come DINOv2. Gli esperimenti su modelli Z-Image-Turbo 6B e Qwen-Image 20B dimostrano che IDM ottiene i punteggi più alti sui benchmark LongText-Bench in cinese e inglese.
- IDM elimina la necessità di una rete separata per le score fake, utilizzando invece rami interni di velocità esistenti nel modello.
- Viene introdotto un vincolo esplicito sui momenti statistici (media e deviazione standard) tramite la decomposizione del campo reverse-KL.
- Il metodo utilizza i feature della copia EMA del generatore per il matching delle distribuzioni, evitando encoder esterni come DINOv2.
- Gli esperimenti su Z-Image-Turbo 6B e Qwen-Image 20B mostrano punteggi superiori ai metodi comparati sui benchmark LongText-Bench.
- Le ablazioni controllate confermano che il momento loss aggiunto apporta guadagni significativi rispetto alle baseline.
Perché conta. Per gli sviluppatori di AI locale e sistemi generativi, IDM offre un modo per migliorare la fedeltà dei dettagli nelle immagini generate con meno parametri aggiuntivi ed evitando dipendenze da encoder esterni pesanti. Questo è cruciale per ottimizzare l'inference su hardware limitato o per integrare modelli custom senza sacrificare le prestazioni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.