Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
Aggiunta all'archivio di AIChronos il (numero del 9 ottobre 2026 ricostruito)· fonte del · Yibo Li, Jinhang Qiu, Zhi Zheng, Qianyun Guo, Jiaying Wu, Shuo Ji (National University of Singapore)
Il Learn2Play Bench è un nuovo benchmark introdotto per valutare la capacità degli agenti LLM di apprendere dall'esperienza in ambienti sconosciuti e dinamici. A differenza dei test esistenti che si basano su regole note, questo insieme di dati utilizza giochi con regole inedite o controintuitive, costringendo gli agenti ad acquisire conoscenza tramite interazione piuttosto che affidarsi alla sola conoscenza pre-addestrata. Il benchmark fornisce feedback riproducibili e scoring automatico per permettere una valutazione controllata dell'apprendimento attraverso tentativi ripetuti.
- L'esperienza completa (registrazione di azioni e feedback) favorisce un apprendimento più efficace rispetto alla sintesi in regole o strategie.
- Esiste un divario significativo tra gli agenti LLM e i migliori giocatori umani, che esplorano strategie più varie ed evitano la ripetizione di azioni inefficaci.
- Modificare il 'harness' (l'involucro dell'agente) mantenendo fisso il modello backbone può migliorare le prestazioni riducendo al contempo il costo stimato dell'inferenza.
Perché conta. Per gli sviluppatori di agenti AI locali, questo lavoro è cruciale per comprendere come ottimizzare l'apprendimento in scenari reali non visti durante il pre-addestramento e per scegliere architetture che bilancino performance ed efficienza computazionale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.