AgenticFinBench: Benchmarking Financial Agents on Diverse Tasks from Real-World Requests
Pubblicata su AIChronos il · fonte del · Shu Zhou, Ziyang He, Yuxin Rao, Yudong Fang, Jiali Qian, Dongyuan Chen
AgenticFinBench è un benchmark introdotto per valutare gli agenti finanziari su 230 compiti reali provenienti da richieste del mondo reale. Il framework di valutazione proposto non si affida a risposte vere predefinite, ma utilizza rubriche specifiche e una due-stage claim audit per rilevare allucinazioni basandosi sulle tracce dell'agente ed evidenza esterna. Gli esperimenti condotti su 18 configurazioni di agenti evidenziano come ignorare le allucinazioni porti a sovrastimare le prestazioni e mostrano che le differenze nell'utilizzo delle prove sono più determinanti delle differenze tra i modelli stessi.
- Il benchmark copre 230 compiti finanziari in 8 categorie, 2 lingue e 4 livelli di complessità.
- L'auditing delle claim riduce il punteggio del leader attuale del 7.58 punti spostandolo al quarto posto.
- Le differenze nell'evidence grounding spiegano l'86% della variazione (28.6%) rispetto alle differenze tra modelli (8.8%).
- Gli agenti faticano a spiegare le relazioni causa-effetto su profitti e prezzi azionari o a giustificare le conclusioni.
- I punteggi di qualità scendono dal 89.44 nel retrieval diretto al 79.18 sui compiti più complessi.
Perché conta. È rilevante per gli sviluppatori perché offre un metodo rigoroso e privo di ground-truth assoluto per testare la fattualezza degli agenti finanziari, riducendo il rischio di allucinazioni in scenari reali dove le conseguenze economiche sono significative.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.