Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
Pubblicata su AIChronos il · fonte del · Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He (Nanjing University)
Omni-Woodpecker (OWP) è un framework addestramento-free che corregge le allucinazioni cross-modali negli Omni LLM spostando l'attenzione dalla manipolazione dell'output al riequilibrio delle rappresentazioni condizionate da conflitti. Il metodo identifica i conflitti tra viste specifiche per modalità, utilizza la decomposizione ortogonale per separare le evidenze di grounding dai priors appresi e ricalibra adattivamente gli stati nascosti prima del decoding. Gli esperimenti dimostrano che OWP migliora significativamente le prestazioni su benchmark come CMM e AVHBench utilizzando Qwen2.5-Omni-7B, mostrando anche una forte generalizzazione ad architetture diverse.
- Sposta la mitigazione delle allucinazioni dalla manipolazione dell'output al riequilibrio condizionato da conflitto nelle rappresentazioni interne.
- Utilizza la decomposizione ortogonale per separare le evidenze di grounding dai priors competitivi negli stati nascosti.
- Supprime i prior fuorvianti e ripristina le evidenze ignorate prima del processo di decoding senza richiedere addestramento aggiuntivo.
- Migliora le prestazioni su CMM (+12.9 punti) e AVHBench (+8.6 punti) con Qwen2.5-Omni-7B come backbone.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti e AI locale, OWP offre una soluzione efficace per ridurre le allucinazioni cross-modali senza costi computazionali di fine-tuning, migliorando l'affidabilità dei sistemi multimodali in scenari reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.