Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
Pubblicata su AIChronos il · fonte del · Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu (Qwen)
Il paper introduce Video-Centered Deep Research Report Generation, un compito in cui gli agenti sintetizzano prove web aperte basate su video specifici per produrre report interattivi. Viene presentato OmniDR-Bench e il framework di valutazione Omni Atomic Rubric Trees (Omni-ARTs) con criteri atomici binari verificati tramite Audited Rubric Construction (ARC). Il benchmark include 50 task in 19 sottocategorie reali, rivelando che i migliori agenti attuali ottengono un punteggio del 63.3 su 100 e necessitano di miglioramenti nella copertura dei contenuti e nell'analisi causale tra modalità.
- Gli agenti devono identificare domande di ricerca, recuperare prove multimodali esterne e generare report collegati a momenti specifici del video.
- Omni-ARTs valuta tre dimensioni: grounding audiovisivo, uso delle prove multimodali e presentazione interattiva attraverso 23 direzioni condivise.
- Il benchmark comprende 6.414 criteri distribuiti su task in cinese e inglese per testare le capacità di ricerca profonda degli agenti AI.
- L'analisi evidenzia la necessità di una copertura più ampia dei contenuti, analisi logica causale rafforzata e supporto alle citazioni più accurato.
Perché conta. È rilevante perché fornisce un framework standardizzato per valutare gli agenti in scenari video-centrici, aiutando i sviluppatori a identificare le lacune attuali (come l'analisi causale) prima di implementare soluzioni AI locali o sistemi RAG complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.