Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
Pubblicata su AIChronos il · fonte del · Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu
TraceTrial-Bench è un nuovo benchmark introdotto per valutare l'affidabilità dei harness degli agenti LLM, organizzando la valutazione in sette componenti chiave come contesto, esecuzione e governance. Il framework utilizza un modulo di Tracciamento delle Traiettorie (Trajectory Tracing) e una raccolta di prove multi-sorgente per analizzare le prestazioni dell'agente separatamente dall'affidabilità del suo harness sottostante. Attraverso 95 compiti espertistici su 4 harness, 9 modelli e oltre 3.000 esecuzioni, lo studio dimostra che il successo del compito non garantisce sempre l'affidabilità completa di tutti i criteri dell'harness.
- Organizzazione della valutazione dei harness in sette componenti: contesto, esecuzione, governance, ciclo di vita, osservabilità, strumenti e verifica.
- Implementazione di un modulo Failure Attribution (FA) che utilizza catene esplicitive di meccanismi per attribuire i fallimenti a livello di run.
- Risultati mostrano che il 31.1% delle esecuzioni raggiunge il successo del compito pur fallendo almeno uno dei criteri dell'harness, evidenziando una discrepanza tra output e affidabilità interna.
- Costruzione di un dataset con 95 compiti orientati ai meccanismi per supportare confronti semanticamente equivalenti preservando il comportamento nativo di ogni harness.
Perché conta. Per gli sviluppatori che lavorano con agenti LLM e AI locale, questo paper è fondamentale perché offre una base auditabile e riproducibile per diagnosticare i fallimenti degli harness al di là del semplice output finale. Consente di comprendere come la progettazione dell'harness interagisca specificamente con il comportamento dei modelli sottostanti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.