Δτ-Bench: Pushing Agents Toward a Moving Capability
Pubblicata su AIChronos il · fonte del · Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang (University College London)
Il documento presenta Δτ-Bench, un benchmark eseguibile per agenti che modella l'evoluzione strutturale degli ecosistemi di strumenti. Questo ambiente simula servizi in evoluzione indipendente dove gli strumenti familiari possono scomparire o essere sostituiti da alternative più efficienti con documentazione rumorosa. L'obiettivo è valutare la capacità degli agenti di scoprire proattivamente percorsi ottimali per l'utilizzo degli strumenti e revisionare tempestivamente le loro conoscenze procedurali accumulate. I risultati mostrano che i modelli attuali raggiungono solo il 42,3% del successo nei compiti, evidenziando la necessità di nuovi approcci.
- Δτ-Bench include 1.588 task multi-turn validati distribuiti su 42 domini e sei stati successivi dell'ecosistema generati tramite trasformazioni che preservano le capacità.
- Le valutazioni rivelano che nemmeno i modelli o harness più forti riescono ad adattarsi consistentemente man mano che l'ecosistema evolve, superando il limite del 42,3% di successo.
- I guadagni iniziali dai metodi esistenti per l'apprendimento delle skill non si traducono in un migliore adattamento durante le evoluzioni dell'ecosistema.
- Steward è introdotto come manager dell'ecosistema che gestisce congiuntamente strumenti e conoscenze procedurali tramite manutenzione incrementale della skill e provisioning dinamico.
- L'utilizzo di Steward permette di mantenere tassi di successo più alti attraverso i cambiamenti dell'ecosistema con un overhead inferiore per la manutenzione delle skill.
Perché conta. È rilevante perché evidenzia le limitazioni attuali degli agenti nell'affrontare ecosistemi dinamici e in evoluzione, spingendo verso soluzioni come Steward che garantiscono robustezza e adattamento continuo senza costi eccessivi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.