RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
Pubblicata su AIChronos il · fonte del · Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma (IQuest)
REALCLI è un benchmark unitario che valuta sia l'esecuzione dei task CLI a lungo termine sia la qualità della collaborazione umana-agente in scenari realistici. Il framework si basa su una struttura cinque-dimensionale operativa, composta da 22 sotto-dimensioni e 51 template di scenario interattivo. Attraverso due modalità (REALCLI-EXEC con specifiche complete e REALCLI-COLLAB con utente scriptato), il paper evidenzia un divario significativo tra efficacia del task e qualità collaborativa nei modelli attuali, che faticano in steerability, calibrazione della fiducia e gestione dei confini di sicurezza.
- Esiste una separazione netta tra la capacità di eseguire compiti (task effectiveness) e la qualità dell'interazione umana-agente (collaboration quality).
- I modelli frontier mostrano prestazioni medie basse nella collaborazione, con un punteggio massimo del joint collaboration score pari a 37.6%.
- REALCLI introduce uno scenario in cui l'utente fornisce informazioni progressive, correzioni e decisioni di autorizzazione durante l'esecuzione.
Perché conta. Per gli sviluppatori che lavorano con agenti CLI locali o LLM, questo paper è cruciale perché rivela le lacune attuali nella gestione della sicurezza e nel controllo umano (steerability), offrendo un fondamento rigoroso per migliorare l'affidabilità degli assistenti automatizzati in ambienti reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.