Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Jinhao Dong, Liang Zhao, Zihao Yue, Wenhan Ma, Linghao Zhang, Lei Li (Xiaomi MiMo)
Il reinforcement learning (RL) per gli agenti di codice spesso assegna vantaggi identici a tutte le traiettorie che superano i test all'interno di un gruppo, ignorando la qualità dell'implementazione. Questo lavoro introduce GAGAR, un framework basato su campionamento dinamico e grading agentic SFT-trained che ridistribuisce il credito in base alla qualità del codice. Il metodo downweighta le traiettorie a basso ranking e riscalda proporzionalmente gli vantaggi delle traiettorie passanti per preservare la somma totale mentre favorisce implementazioni pulite. Valutato su modelli industriali come MiMo-V2.6, GAGAR migliora le prestazioni degli agenti di codice, riduce l'allungamento delle traiettorie e stabilizza l'addestramento.
- GAGAR utilizza un grading agentic SFT-trained per ispezionare e classificare i candidati che superano i test all'interno dello stesso gruppo RL.
- La ridistribuzione degli vantaggi preserva la somma totale (sum-preserving) mentre sposta il credito verso implementazioni di più alta qualità rispetto a quelle con cambiamenti non necessari.
- Gli esperimenti su MiMo-V2.6-Flash e MiMo-V2.6-Pro dimostrano miglioramenti nelle prestazioni, una crescita ridotta della lunghezza delle traiettorie e maggiore stabilità dell'addestramento.
- L'integrazione di GAGAR con la verifica basata sui test migliora significativamente sia la qualità che la stabilità del RL per agenti di codice su scala industriale.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questo approccio è cruciale perché risolve il problema dell'overfitting verso soluzioni banali o eccessive semplicemente superando i test, garantendo così implementazioni di codice più pulite, efficienti e aderenti allo scopo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.