ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
Pubblicata su AIChronos il · fonte del · Jeremy Canale, Fabien Soulis
ReplayRCA è un benchmark introdotto da Canale e Soulis per valutare la capacità dei modelli di diagnosticare errori in agenti AI multi-step tramite intervento causale piuttosto che accordo con annotazioni. Il protocollo ripristina lo stato dell'ambiente prima del passo critico, sostituendo l'azione originale proposta dall'agente fallito con quella suggerita dal modello valutato e misurando il tasso di successo della continuazione rispetto a un placebo. Lo studio evidenzia una discrepanza significativa tra le prestazioni in scenari post-hoc (autopsia) e live oversight, dove modelli leader come Grok 4.7 ottengono punteggi causali superiori ma costano performance forzando l'intervento all'ultimo passo.
- ReplayRCA misura il 'causal repair', definito come la differenza tra il successo della continuazione con l'azione proposta e quella di un placebo che ripropone l'errore originale.
- Il benchmark utilizza OpsWorld, un ambiente procedurale deterministico a sei livelli di difficoltà, incluso uno multimodale per QR code e scrittura manuale.
- Sui 62 fallimenti sistematici calibrati analizzati, Grok 4.7 raggiunge il miglior punteggio causale (+51.3 punti), mentre alcuni modelli flagship dei grandi vendor risultano inferiori.
- Esiste una correlazione negativa tra performance post-hoc e live oversight: GPT-6.1 Sol è eccellente nell'autopsia ma debole nel supervisionamento in tempo reale (-14.5 punti).
- Forzare un modello forte a intervenire all'ultimo passo riduce le sue prestazioni di 17.1 punti, invalidando i shortcut basati su attribuzione delle annotazioni.
Perché conta. Questa ricerca è cruciale per gli sviluppatori che costruiscono agenti autonomi perché dimostra che la capacità di diagnosticare errori a posteriori non garantisce affidabilità in tempo reale e avvisa contro l'uso indiscriminato dei modelli più grandi senza considerare i costi computazionali dell'intervento tardivo.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.