Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?
Pubblicata su AIChronos il · fonte del · Huangfei Jiang, Anning Hu, Kai Sheng, Yuchen Cai, Rui Ge, Xiangyu Kong
Il documento presenta Investor's Last Exam (ILE), un benchmark per agenti finanziari guidato da investitori buy-side che valuta l'intero processo di ricerca azionaria senza accesso a informazioni future. Il sistema si basa su una versione finanziaria del database con oltre 3,4 milioni di documenti e criteri di valutazione rigorosi collegati tramite grafi di dipendenza finanziaria. I risultati dimostrano che modelli state-of-the-art come GPT-6 Astra e Claude Opus 5.5 eccellono nella ricerca generale ma falliscono nel tradurre queste capacità in accuratezza predittiva reale (Forecast & Model). L'approccio sposta l'unità di valutazione da singole competenze isolate alla catena evidence-assumption-judgment, offrendo una base diagnostica per migliorare gli agenti finanziari.
- ILE introduce un framework con database versionato e timestamp validati per garantire che le previsioni siano testate solo su dati disponibili al momento della decisione.
- La valutazione copre 86 assegnazioni, misurando qualità della ricerca, accuratezza delle forecast e performance di investimento simulata.
- Anche i modelli leader (GPT-6 Astra a 68.1/100) mostrano un calo significativo quando devono generare previsioni specifiche rispetto alla loro capacità generale.
- Il benchmark utilizza grafi di dipendenza finanziaria per collegare criteri di scoring, fonti e calcoli alle assunzioni sottostanti.
- L'obiettivo è diagnosticare dove i vantaggi analitici dei modelli falliscono nel trasformarsi in giudizi d'investimento concreti.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti e AI locale, ILE evidenzia il divario critico tra la capacità generativa di un modello e la sua affidabilità predittiva in scenari reali vincolati da informazioni storiche. Questo benchmark fornisce metriche essenziali per validare se un agente finanziario può operare autonomamente senza 'vedere il futuro', una condizione necessaria per applicazioni produttive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.