WeLM-Image: A Unified Image Generation Model towards Visual Intelligence
Pubblicata su AIChronos il · fonte del · Canmiao Fu, Chen Li, Guohui Zhang, Hao Lu, Hongyang Wei, Huadong Wu
WeLM-Image è un modello fondazionale per immagini che integra la comprensione multimodale nella generazione da testo, nell'editing guidato e nella sintesi multi-riferimento. Il modello utilizza uno scheletro Mixture-of-Transformers (MoT) con moduli Mixture-of-Experts (MoE) per gestire in modo sparso parametri di archiviazione e generazione su un singolo GPU. Un motore dati orientato alla generazione bilancia la copertura semantica e i compiti di editing, mentre l'addestramento include supervisione bilingue fino a risoluzione nativa 1.5K.
- Architettura MoT che combina attenzione condivisa con parametri indipendenti per limitare l'interferenza durante l'ottimizzazione.
- Attivazione di circa 5,4 miliardi di parametri generativi per ogni token latente target su un totale di 31,7 miliardi di parametri memorizzati.
- Il modello WeLM-Image-Turbo genera immagini da 1024x1024 in soli 4,98 secondi su una singola GPU NVIDIA H20 con otto step guidati-free.
- Ottimizzazione separata della generazione e dell'editing tramite ricompense basate su rubriche prima di consolidare le politiche mediante distillazione on-policy aware del rumore.
Perché conta. Questa architettura è rilevante per sviluppatori che lavorano con AI locale perché permette deployment scalabile su singolo GPU, riducendo i costi infrastrutturali e migliorando la latenza in applicazioni consumer. L'integrazione nativa di editing guidato da istruzioni offre nuove capacità agli agenti autonomi senza richiedere pipeline separate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.