OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
Pubblicata su AIChronos il · fonte del · Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai (Data Science & Artificial Intelligence Lab at HKUST)
Il paper introduce OR-License, un benchmark end-to-end composto da 31 istanze reali tratte da progetti di Operations Research (OR) industriali per valutare la capacità degli agenti LLM di trasformare materiali aziendali originali in soluzioni valide senza riformulazione preliminare. Viene presentato anche ORSim, uno simulatore controllato del cliente che verifica l'acquisizione delle informazioni e confronta le prestazioni dei modelli contro soluzioni esperte accettate dai clienti. I risultati mostrano che sebbene alcuni agenti superino i riferimenti esperti nella qualità oggettiva condizionata in fasi specifiche, nessuno raggiunge la Deployment-Adjusted Quality (DAQ) dell'esperto umano a causa di fallimenti nella formulazione del problema e nell'esecuzione.
- OR-License preserva requisiti originali, dati di input e formati dei deliverables dopo il processo di de-identificazione per garantire un test realistico.
- La Deployment-Adjusted Quality (DAQ) assegna zero a qualsiasi consegna non fattibile, penalizzando severamente gli errori nella formulazione o implementazione.
- L'analisi delle traiettorie rivela che i fallimenti principali si concentrano nella fase di formulation e implementation piuttosto che solo nell'inferenza pura.
- I tassi di completamento della catena di ricerca normalizzati per il task variano tra il 24% e il 45% sui modelli frontier testati con harness coding-agent.
- L'acquisizione delle informazioni da parte degli agenti si estende oltre la semplice chiarificazione, includendo lo sviluppo e la validazione della soluzione.
Perché conta. Per gli sviluppatori che lavorano su AI locale o sistemi autonomi, questo paper evidenzia il divario critico tra le capacità di inferenza dei modelli frontier e l'affidabilità richiesta per compiti reali complessi come l'OR, sottolineando la necessità di migliorare la formulazione fedele del problema (faithful problem formulation) prima dell'esecuzione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.