What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
Pubblicata su AIChronos il · fonte del · Tengju Ru, Weitong Lian, Zecong Tang, Zhiheng Liu, Lingyi Meng, Haoran Li
Questo studio affronta le sfide del fine-grained visual understanding nei Unified Multimodal Models (UMMs), evidenziando come i percorsi generativi possano preservare informazioni visive complementari a quelle di comprensione. Gli autori propongono GAFU, un framework post-training che comprime le rappresentazioni native lato generazione in token compatti per abilitare il recupero condizionato dal compito nel percorso di comprensione. I risultati sperimentali dimostrano che questo approccio supera i baseline SFT su diversi benchmark visivi e architetture UMM, ottenendo miglioramenti relativi fino al 20%. Il lavoro dimostra come convertire le informazioni complementari del pathway generativo in guadagni tangibili per la comprensione fine-grained.
- Le rappresentazioni native lato generazione sono più sensibili ai cambiamenti sematici fini rispetto a quelle lato comprensione.
- GAFU comprime le rappresentazioni visive di generazione in token compatti che preservano dettagli fini senza perdita significativa.
- Il framework abilita il retrieval condizionato dal compito utilizzando i token generativi per migliorare la precisione spaziale e attributiva.
- Gli esperimenti conferizzano un vantaggio consistente su architetture diverse, con miglioramenti massimi fino al 20% su VStar-Bench.
- L'approccio trasforma le informazioni complementari del pathway di generazione in sinergia diretta per la comprensione visiva.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questo paper offre una via concreta per migliorare l'affidabilità dei modelli multimodali locali sfruttando rappresentazioni interne spesso ignorate. Integrare tecniche di fine-tuning come GAFU può potenziare la capacità degli agenti di distinguere relazioni spaziali complesse senza aumentare drasticamente il consumo computazionale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.