ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost
Pubblicata su AIChronos il · fonte del · Xingzhi Qian, Sungho Park, Rongyuan Tan, Jianbo Yu, Jue Zhang, Lorenzo Cavallaro (Microsoft)
ParetoSaddler è un metodo per l'ottimizzazione degli harness dei LLM agents che affronta il problema del compromesso qualità-costi senza modificare i pesi del modello. A differenza dei metodi esistenti, separa la promozione intermedia dei candidati dalla selezione finale di deployment, evitando di scartare prematuramente soluzioni promettenti. Utilizza un supporto Pareto basato su bootstrap bayesiano per valutare ripetutamente le esecuzioni e promuovere solo quei candidati che mostrano progressi credibili in qualità o costo.
- Separa la promozione intermedia dei candidati dalla selezione finale di deployment per evitare il rifiuto prematuro di soluzioni utili.
- Applica un supporto Pareto basato su bootstrap bayesiano durante le iterazioni per filtrare i guadagni debolmente supportati dalle esecuzioni ripetute.
- Migliora significativamente la qualità e riduce i costi sui benchmark ClawMark (da 70.86% a 81.35%, costo da $1.17 a $1.01) e GAIA2 (da 56.22% a 62.89%, costo da $0.78 a $0.45).
- I harness selezionati tramite Pareto offrono prestazioni superiori in termini di qualità rispetto ai metodi che ottimizzano solo la qualità.
- Conserva i candidati intermedi scartati dalle preferenze di deployment tradizionali, permettendo loro di supportare miglioramenti futuri.
Perché conta. Per gli sviluppatori di agenti AI e soluzioni locali, questo approccio permette di ottenere un migliore equilibrio tra accuratezza ed efficienza economica senza richiedere il fine-tuning dei modelli base o l'accesso a risorse computazionali eccessive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.