PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions
Pubblicata su AIChronos il · fonte del · Tongkun Guan, Zhibo Yang, Mingkun Yang, Haocheng Wang, Wei Shen, Xiaokang Yang
PerceptRL è un framework che risolve il collo di bottiglia della percezione visiva fine-grained durante la post-training dei MLLMs. Il metodo utilizza una pipeline multi-agente per estrarre errori verificati da caption densi, convertendoli in coppie QA con ricompense basate su regole. L'approccio combina un percorso specializzato per domini ad alto errore e uno generale agnostico al dominio, integrando strumenti di verifica visiva a più turni.
- Utilizza una pipeline multi-agente per trasformare caption soggettivi in ricompense verificabili tramite QA pairs con etichette fisse.
- Implementa la 'Chain QA' per collegare errori correlati e la 'multiple-choice QA' per combinare errori non correlati.
- Corregge il coordinate drift durante l'inferenza a freddo (cold-start) iniettando coordinate spaziali corrette prima dell'utilizzo degli strumenti visivi.
- Ottiene un aumento del 15.7% di accuratezza rispetto al modello base e supera i frontier VLM su sette benchmark condivisi.
Perché conta. Per gli sviluppatori che lavorano con agenti AI locali, questo approccio è cruciale per mitigare la deriva delle coordinate spaziali quando si utilizzano strumenti visivi, garantendo una maggiore affidabilità nelle risposte a domande complesse.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.