Paper · arXiv
ATLAS-Bench: An Agentic Tool-Use Benchmark for Local Area Search
Pubblicata su AIChronos il · fonte del · Keyun Zhang, Dapeng Yin, Fanfu Wang, Shuang Lang, Zhenyu Zhu, Yulin Huang
ATLAS-Bench è un benchmark di 1.200 query progettato per valutare la capacità degli agenti LLM di eseguire ricerche locali affidabili distinguendo tra requisiti obbligatori e preferenze soggettive.
- Introduce ATLASBox, un ambiente di valutazione standardizzato con strumenti di ricerca e una base conoscenza fissa dei punti di interesse (POI).
- Ogni query è arricchita da attributi del luogo, recensioni ed evidenze per verificare la fattualità delle risposte.
- GPT-6-Luna ottiene il miglior tasso di soddisfazione dei vincoli (71.5%) e accuratezza fattuale (95.6%), mentre GLM-5.3 genera più raccomandazioni utili complessivamente.
- Il benchmark valida le tracce esecutive, la qualità delle risposte e i costi computazionali attraverso controlli iterativi su 14 configurazioni di modelli.
Perché conta. È rilevante per gli sviluppatori che costruiscono agenti AI locali perché fornisce metriche concrete per misurare l'aderenza ai vincoli obbligatori, riducendo il rischio di allucinazioni fattuali nelle decisioni quotidiane.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.