Factorized MLLM Embeddings for Composed Image Retrieval
Pubblicata su AIChronos il · fonte del · WonJun Moon, Seongchan Kim, Dahun Kim, Seungryong Kim (KAIST AI)
Il lavoro introduce FactEmbed, un approccio per il Composed Image Retrieval (CIR) che decoupla la comprensione delle query composte dalla costruzione di embedding discriminativi. A differenza dei metodi basati esclusivamente su supervisione contrastiva diretta, questo metodo utilizza latenti factorizzati e un obiettivo intermedio di 'target imagination' per simulare le modifiche visive intese prima di formare rappresentazioni finali. Il processo ottimizza una perdita al livello fattoreico mentre distilla queste rappresentazioni decomposte in uno strato di attenzione più profondo del MLLM. Infine, la strategia prevede il mantenimento del token [EOS] per un embedding globale e l'uso dei latenti factorizzati mean-pooled per il re-ranking efficiente.
- FactEmbed decoupla la comprensione della query composita dalla costruzione di embedding discriminativi tramite latenti factorizzati.
- Viene introdotto un obiettivo intermedio 'target imagination' che simula le modifiche visive prima del retrieval finale.
- Il metodo distilla le rappresentazioni decomposte in uno strato di attenzione più profondo per propagare il segnale nel modello MLLM.
- Per l'inferenza efficiente, si utilizza il token [EOS] per un embedding globale e i latenti mean-pooled per re-ranking a basso costo.
- FactEmbed supera le opere precedenti su benchmark CIR grazie alla capacità di groundare i latenti nelle semantica target.
Perché conta. È rilevante perché offre una via alternativa al fine-tuning diretto dei MLLM, permettendo un retrieval composito più robusto senza necessariamente modificare l'architettura base del modello. Questo approccio è utile per sviluppatori che lavorano con agenti AI locali o sistemi di ricerca immagini dove la precisione nella comprensione delle modifiche visive descritte dal testo è critica.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.