LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
Pubblicata su AIChronos il · fonte del · Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu (Fudan University)
LiveMACEBench è un benchmark aware del processo che utilizza i mercati finanziari live come testbed evolutivo per valutare le capacità persistenti degli agenti LLM. Lo studio evidenzia una significativa divergenza tra gli esiti realizzati (rendimenti) e le misurazioni specifiche delle capacità, dimostrando che risultati simili possono derivare da pattern di utilizzo dei meccanismi molto diversi. Attraverso diagnostici a livello di traccia decisionale completa, il lavoro distingue l'accesso al meccanismo dall'utilizzo effettivo e dalle prestazioni downstream, smentendo la loro intercambiabilità.
- Gli agenti LLM operano in configurazioni continue sotto Tool Use, Persistent Memory, Rule Following e Multi-Agent Collaboration per 30 giorni di valutazione live.
- Esiste un 'outcome-capability gap' pronunciato dove i rendimenti realizzati divergono dalle misurazioni specifiche delle capacità dell'agente.
- I diagnostici a livello di traccia rivelano che l'accesso al meccanismo, l'utilizzo effettivo e le prestazioni downstream sono misure non intercambiabili della capacità dell'agente.
- Il benchmark trasforma i mercati live da semplice classifica di performance in un ambiente diagnostico per la comprensione delle capacità degli agenti.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, questo paper è cruciale perché insegna a non fidarsi ciecamente dei risultati finali (outcome) senza analizzare le tracce decisionali complete. Comprendere la distinzione tra accesso ai tool, loro effettivo utilizzo e performance finale permette di diagnosticare correttamente i colli di bottiglia in ambienti dinamici.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.