The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Wenbo Pan, Zhichao Liu, Shujie Liu, Jingying Zeng, Chin-Yew Lin, Xianfeng Tang (Microsoft)
Il paper introduce Taste-Bench, un benchmark automatico per misurare la 'taste' degli agenti LLM, ovvero la capacità di prendere decisioni ottimali lungo task a orizzonte lungo senza conoscere l'esito futuro. I ricercatori estraggono automaticamente punti decisionali critici (forks) da traiettorie parallele e deviazioni operative, evitando così l'annotazione umana. La valutazione su modelli frontier rivela che solo il 59.7% delle domande viene risposto correttamente e dimostra che una maggiore capacità di ragionamento non migliora necessariamente le decisioni in questi contesti specifici. Infine, lo studio prova che la 'taste' può essere migliorata tramite distillazione da un modello insegnante a uno studente.
- Taste-Bench è costruito automaticamente identificando forks decisionali tra traiettorie parallele e deviazioni interne agli stessi task.
- I fork in cui le prove decisive appaiono più avanti nella traiettoria risultano significativamente più difficili per tutti i modelli testati.
- Aumentare il budget di ragionamento (reasoning budget) non porta a un miglioramento dell'accuratezza nel prendere decisioni tattiche.
- La distillazione da un modello insegnante che ha visto l'esito permette allo studente di migliorare le decisioni su task mai visti e aumentare il successo end-to-end.
- Attualmente nessun benchmark esistente misura la capacità degli agenti di fare buone scelte intermedie, a differenza del semplice successo finale.
Perché conta. Per gli sviluppatori che costruiscono agenti AI locali o per ingegneri software, questo lavoro evidenzia l'importanza cruciale della qualità delle decisioni intermedie nel lungo termine e offre un metodo pratico (distillazione) per migliorare questa capacità senza affidarsi esclusivamente a dati di addestramento massivi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.