Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
Pubblicata su AIChronos il · fonte del · Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin, Jiahao Huang (University College London)
Continual Learning Exam (CLE) è un benchmark su larga scala progettato per valutare la capacità degli agenti LLM di migliorare nel tempo attraverso l'esperienza accumulata in flussi di lavoro professionali realistici. Il dataset include 120 compiti umani scritti organizzati in una struttura a cinque livelli, coprendo 89 ruoli professionali e 12 domini occupazionali per testare il miglioramento progressivo piuttosto che le prestazioni isolate su singoli task. Gli agenti devono superare ogni livello sbloccando quelli successivi, con un agente valutatore che confronta i submit contro rubriche umane; l'analisi mostra che feedback diagnostici e revisioni migliorano la media di completamento del 5,3 punti percentuali rispetto a una singola submission.
- CLE misura il miglioramento guidato dall'esperienza in scenari professionali complessi invece della semplice performance su task isolati.
- La struttura a scala (ladder) con 600 livelli richiede agli agenti di accumulare conoscenza per progredire, simulando l'apprendimento continuo nel tempo.
- L'introduzione di feedback diagnostico e possibilità di revisione aumenta significativamente il tasso di completamento dei task rispetto alle configurazioni senza correzioni.
- Attualmente i frontier LLM riescono a completare solo il 47,7% dei livelli totali, evidenziando le difficoltà esistenti nell'apprendimento sostenuto dall'esperienza.
Perché conta. Questo benchmark è cruciale per gli sviluppatori di agenti AI perché fornisce un metodo standardizzato per testare e migliorare la capacità dei modelli locali o frontier di adattarsi a nuovi compiti senza dimenticare conoscenze pregresse, essenziale per applicazioni produttive reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.