Deep Search in Real-World Web Environments
Pubblicata su AIChronos il · fonte del · Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma
Il paper introduce OpenDS, un task e il benchmark OpenDS-World per valutare la capacità degli agenti di eseguire ricerche profonde end-to-end in ambienti web reali aperti. A differenza dei retrieval statici, questo scenario richiede agli agenti di navigare autonomamente tra fonti eterogenee, gestire formati diversi e integrare prove complesse per determinare risposte fattiche univoche. Il benchmark comprende 200 task sfidanti verificati manualmente, su cui sono stati testati 12 modelli frontier con risultati che mostrano significative differenze nelle strategie di ricerca e nella gestione degli strumenti.
- OpenDS-World è un benchmark composto da 200 task complessi per valutare la deep search in ambienti web live.
- Il miglior modello testato raggiunge una accuratezza del 39.0%, mentre l'accuratezza umana su 1.000 tentativi è del 21.1%.
- L'analisi rivela sfide persistenti nella coordinazione degli strumenti e nella gestione della ricerca a lungo termine (long-horizon search).
- Il task richiede agli agenti di esplorare autonomamente il web, scoprire connessioni tra fonti indipendenti ed elaborare prove eterogenee.
Perché conta. È rilevante per gli sviluppatori perché definisce nuovi standard di valutazione per gli agent AI che operano in contesti reali non strutturati, evidenziando le lacune attuali nella coordinazione degli strumenti e nell'integrazione di evidenze complesse.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.