VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models
Pubblicata su AIChronos il · fonte del · Junzhe Chen, Tian Qin, Eugenie Shi, Tianshu Zhang, Qiang Ju, Lijie Wen
I modelli linguistici multimodali a diffusione discreta (dLLMs) soffrono di allucinazioni dovute a un impegno prematuro durante il processo iterativo di denoising. Il paper propone VIGOR, una strategia di inferenza plug-and-play che riordina le posizioni mascherate basandosi su prove visive controfattuali per mitigare questo problema senza addestramento aggiuntivo. Questo approccio confronta la confidenza dei token candidati in passaggi originali e con ablazione visiva, privilegiando quelli supportati dall'immagine. Gli esperimenti sui modelli LLaDA-V e Lumina-DiMOO dimostrano una riduzione consistente delle allucinazioni e un miglioramento del ragionamento multimodale.
- Le allucinazioni nei dLLMs sono causate da impegni prematuri guidati dai priori linguistici piuttosto che dalle evidenze visive durante il denoising iterativo.
- VIGOR è una strategia di inferenza training-free e plug-and-play che riordina le posizioni mascherate secondo l'evidenza visiva controfattuale.
- Il metodo confronta la confidenza dei token in passaggi originali rispetto a un passaggio con ablazione visiva per identificare i supporti più solidi dell'immagine.
- L'applicazione di VIGOR su LLaDA-V e Lumina-DiMOO riduce le allucinazioni e migliora le prestazioni sui benchmark di ragionamento multimodale.
- Il codice è disponibile pubblicamente per facilitare l'integrazione in pipeline esistenti senza necessità di fine-tuning.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti o AI locali, VIGOR offre un modo efficace e immediato per migliorare la groundedness delle risposte visive senza costi computazionali aggiuntivi legati all'addestramento. Questa tecnica è cruciale per implementare sistemi multimodali affidabili in contesti dove l'allucinazione può compromettere la sicurezza o l'utilità dell'agente.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.