Latent Reasoning in Continuous Space for Unified Multimodal Models
Pubblicata su AIChronos il · fonte del · Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin
I Unified Multimodal Models (UMMs) faticano a sfruttare il ragionamento basato sul chain-of-thought per la generazione di immagini a causa del disallineamento tra lo spazio discreto dei token e quello continuo delle immagini. Per colmare questo divario, gli autori propongono LARC, un framework che esegue il ragionamento sugli stati nascosti continui invece che sui livelli di token. Il training avviene in due fasi: prima uno supervised fine-tuning curricolare per convertire gradualmente il ragionamento a livello di token in quello latente, seguito da reinforcement learning basato sul guadagno informativo senza supervisione esterna. Gli esperimenti dimostrano miglioramenti nella qualità della generazione e nel rispetto dei prompt su benchmark come GenEval.
- LARC risolve il collo di bottiglia a livello di token permettendo il ragionamento nello spazio continuo degli stati nascosti.
- Il framework combina curriculum supervised fine-tuning (SFT) con information-gain reinforcement learning (RL).
- La soluzione abilita test-time scaling e controllabilità granulare simili ai grandi modelli linguistici per la generazione di immagini.
- LARC ottiene risultati state-of-the-art su GenEval, superando BAGEL del 7% in termini di performance.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti AI locali, questo approccio è cruciale per integrare capacità di ragionamento complesso nella generazione multimodale senza sacrificare la scalabilità o il controllo fine.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.