BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
Pubblicata su AIChronos il · fonte del · Enhan Zhao, Yongqi Tong, Xuejun Yu, Hang Wang, Pan Wang, Yichao Wang (ant-international)
BizBench è un benchmark multi-turn basato su procedure reali di un'azienda leader nel settore dei pagamenti, progettato per valutare gli agenti a lungo termine oltre il semplice successo finale. L'ambiente eseguibile integra 789 documenti di conoscenza e 601 strumenti aziendali con politiche coerenti, stati consistenti e comportamenti degli strumenti deterministici. Il benchmark include 50 task che testano vincoli sulle risorse, dipendenze temporali, impegni precedenti e linee guida conflittuali o obsolete. Gli esperimenti evidenziano limiti significativi nei modelli frontier: Claude Opus 5 e GPT-6 Sol raggiungono tassi di successo stretto del solo 64% e 61,3%, mentre Qwen3.8-27B mostra come la valutazione basata sugli outcome possa mascherare esecuzioni non valide.
- Esiste un divario tra i benchmark esistenti che enfatizzano il successo finale e le esigenze reali dei business dove le violazioni intermedie comportano perdite finanziarie o conseguenze regolatorie.
- BizBench utilizza controlli deterministici per valutare sia l'attainment degli obiettivi che la validità dell'esecuzione, senza prescrivere un singolo percorso di soluzione.
- I modelli frontier mostrano overhead esecutivi sostanziali: DeepSeek-V4.1-Flash effettua in media 191,3 chiamate agli strumenti per run, circa il 70% in più rispetto alle esecuzioni di riferimento.
- La valutazione basata esclusivamente sul risultato finale può nascondere l'invalidità dell'esecuzione intermedia negli agenti operativi complessi.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, BizBench è cruciale perché sposta il focus dalla semplice completazione del task all'affidabilità e alla conformità ai vincoli in ambienti aziendali reali ad alto rischio.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.