Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
Pubblicata su AIChronos il · fonte del · Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas
Il paper introduce PILOT, un framework che modella il ragionamento come variabile latente per migliorare i multimodal embeddings nei MLLM. A differenza dei metodi convenzionali basati su supervisione post-hoc, PILOT utilizza evidenze relazionali durante l'addestramento per guidare l'esplorazione del ragionamento attraverso distribuzioni prior e posteriori distinte. Il framework deriva un obiettivo variazionale pesato per importanza che permette il co-evoluzione di queste modalità sotto una ricompensa condivisa compatibile con l'inference. I risultati sul benchmark MMEB-V2 dimostrano che la supervisione relazionale è cruciale non come semplice reward, ma come segnale per plasmare efficacemente l'esplorazione del ragionamento.
- PILOT istanzia le distribuzioni prior e posteriori di un modello MLLM condiviso in modalità di ragionamento distinte.
- La distribuzione prior condiziona solo sull'input, mentre la posterior utilizza evidenze relazionali aggiuntive per guidare l'esplorazione.
- Viene derivato un obiettivo variazionale pesato per importanza che trasferisce selettivamente le traiettorie della posterior alla prior in base all'utilità e raggiungibilità.
- Sul benchmark MMEB-V2, PILOT supera il baseline primario su tutti i 12 gruppi di task con miglioramenti significativi nei punteggi complessivi.
- I guadagni più elevati si osservano nel retrieval visivo-documento (+6.4 punti a 7B parametri), superando le limitazioni dei metodi basati solo sull'input.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questo approccio offre una via per migliorare la qualità degli embedding multimodali integrando segnali relazionali diretti nel processo di esplorazione del ragionamento. È rilevante anche per l'AI locale poiché ottimizza le prestazioni senza richiedere infrastrutture esterne complesse, sfruttando meglio i parametri disponibili (2B/7B).
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.