When Agents Fail: Model or Harness--Who's to Blame?
Pubblicata su AIChronos il · fonte del · Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li
Il documento propone un framework per valutare le interazioni tra modelli LLM e harness di esecuzione degli agenti attraverso cinque misure complementari. I risultati mostrano che il ranking delle prestazioni varia significativamente in base alla combinazione specifica modello-harness, sfatando l'idea di una performance uniforme. Vengono analizzati quattro harness generici (OpenCode, Codex CLI, Pi CLI, DeepAgents) e due sistemi nativi su sei benchmark complessi. L'analisi rivela che il completamento valido (VCR) e le prestazioni del task possono favorire accoppiamenti diversi con profili di esecuzione distinti.
- Gli harness devono essere valutati attraverso la loro interazione specifica con i modelli sottostanti, non in isolamento.
- Il framework introduce il 'Valid Completion Rate' (VCR) per misurare l'affidabilità del completamento indipendentemente dalla correttezza del task.
- OpenCode si posiziona come leader nella cross-model performance, mentre DeepSeek V4 Flash Preview mantiene un alto Mean VCR su benchmark condivisi.
- Le metriche di 'Interaction Residuals' rivelano punti di forza e debolezza specifici nascosti dalle analisi a livello di componente singolo.
- La progettazione degli harness deve essere adattata sia al modello specifico che alle caratteristiche del task da svolgere.
Perché conta. Per gli sviluppatori, questo paper è cruciale per evitare l'errato ottimizzazione su un solo stack e comprendere come scegliere o adattare il giusto harness in base all'SLIM (Specifico Modello/Task) target.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.