ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Pubblicata su AIChronos il · fonte del · Bowen Ding, Mingda Wan, Yuhan Chen, Jiyao Yuan, Qi Zhu, Futing Wang (LINs lab)
Il reinforcement learning (RL) per gli agenti basati su Large Language Model (LLM) soffre di un dilemma nell'assegnazione uniforme del credito che rinforza azioni irragionevoli. Per risolvere questo problema senza introdurre overhead dei critici, viene proposto ProAS, un framework plug-and-play che utilizza una dinamicamente evoluta Agentic Reference Graph (ARG). Questo approccio realizza un'assegnazione fine-grained del credito tramite Masking Unreasonable Incentives (MUI) e Asymmetric Penalty Redistribution (APR), migliorando significativamente le prestazioni su benchmark come ALFWorld e WebShop.
- ProAS risolve il dilemma dell'assegnazione uniforme del credito tipico degli algoritmi critic-free come GRPO.
- Il framework evita l'introduzione di overhead computazionale associati ai modelli critici tradizionali.
- Utilizza una Agentic Reference Graph (ARG) dinamica per mascherare incentivi irragionevoli e ridistribuire penalità asimmetricamente.
- Raggiunge success rate del 91.9% su ALFWorld con Qwen2.5-7B-Instruct, superando i baselines di gruppo esistenti.
- Accelera la convergenza dell'addestramento fino a 2.44 volte mantenendo robustezza contro ARG imperfette.
Perché conta. Per gli sviluppatori che lavorano con agenti AI e LLM, ProAS offre un modo per ottimizzare l'apprendimento senza costi aggiuntivi di critic models, rendendolo ideale anche per implementazioni locali o risorse limitate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.