PSGAgent: Enhancing MLLMs' Dynamic Visual Perception for Panoptic Scene Graph Generation via Agentic Reasoning
Pubblicata su AIChronos il · fonte del · Qingyun Liu, Yuankun Liu, Jiaye Feng, Jie Huang, Zonghong Dai, Haochen Li
PSGAgent è un framework agentic progettato per superare i limiti di percezione statica dei Multimodal Large Language Models (MLLMs) nella generazione di Panoptic Scene Graph. Il sistema introduce un ciclo think-act-observe che permette ai modelli di raffinare dinamicamente la loro comprensione visiva utilizzando strumenti specifici come lo zoom locale e il filtraggio del rumore contestuale. Attraverso una pipeline di addestramento in due stadi, inclusa l'uso di dati Multimodal Chain-of-Thought (M-CoT) e un meccanismo gerarchico di reward con Group Sequence Policy Optimization (GSPO), PSGAgent ottimizza la decisione strategica nell'utilizzo degli strumenti. Gli esperimenti condotti su benchmark specifici dimostrano che questo approccio raggiunge le prestazioni state-of-the-art, migliorando sia l'analisi olistica che quella fine-grained delle scene complesse.
- PSGAgent risolve il collo di bottiglia della percezione statica nei MLLMs applicati alla generazione di Panoptic Scene Graph (PSG).
- Il framework utilizza un ciclo think-act-observe per permettere l'esplorazione dinamica delle relazioni visive.
- Due strumenti principali abilitano la raffinamento percettivo: Region Zoom-In Tool e Visual Highlight Tool.
- L'addestramento si basa su un dataset M-CoT di alta qualità e sull'algoritmo Group Sequence Policy Optimization (GSPO).
- Il sistema supera le prestazioni attuali nel differenziare predicati ambigui e nell'inclusione di oggetti piccoli o periferici.
Perché conta. Per uno sviluppatore che lavora con agenti AI, PSGAgent offre un paradigma avanzato per integrare capacità percettive dinamiche nei modelli locali, superando le limitazioni delle viste a risoluzione fissa tipiche dei MLLMs standard.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.