VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents
Pubblicata su AIChronos il · fonte del · ZhengXian Wu, Qianhao Nie, Zhuohong Chen, Junjie Gao, Yuyao Zhang, Yunyao Yu
VisSearch-Bench è un benchmark introdotto per valutare la capacità degli agenti multimodali di gestire il contesto visivo durante ricerche a lungo raggio. Il dataset comprende 204 compiti umani scritti in sette domini principali, coprendo scenari come ricerca visiva sequenziale e disambiguazione competitiva. I risultati mostrano che anche i migliori sistemi attuali riescono a risolvere solo il 26.47% dei task, evidenziando le difficoltà nel collegare prove visive con risultati di ricerca testuali.
- Il benchmark si concentra sulla gestione del contesto visivo e sul collegamento tra informazioni visive ed esterne durante la ricerca web o immagini.
- Include cinque categorie principali: Set-wise Visual Search, Sequential Visual Search, Hybrid Wide-Deep Search, Competitive Visual Disambiguation e Visual-Structure-Guided Search.
- Ogni task fornisce una risposta di riferimento, prove tracciabili e regole di punteggio per misurare sia l'accuratezza che la correttezza del processo.
Perché conta. Per gli sviluppatori di agenti AI locali o multimodali, questo benchmark è cruciale perché evidenzia il divario attuale nella capacità dei modelli di integrare dettagli visivi specifici con strumenti di ricerca esterni per fornire risposte complete.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.