RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding
Pubblicata su AIChronos il · fonte del · Jingxuan Xu, Zihang Xu, Yuechen Luo, Ziqi Miao, Wenqiang Zhu, Weihao Li
Il documento introduce RIPPLE, un framework di addestramento orientato al recupero che colma il divario tra critica e azione negli agenti di coding a lungo termine. Attraverso una supervisione basata su evidenze fornita da un insegnante 'prefix-only' e un successivo fine-tuning con reinforcement learning, l'approccio internalizza la guida del processo in una singola politica auto-recuperativa. Il metodo assegna crediti specifici per fase alla riflessione, diagnosi ed azione correttiva senza ereditare indiscriminatamente gli esiti terminali.
- RIPPLE risolve il 'Critique-to-Action Handoff Gap', permettendo agli agenti di correggere la rotta dopo aver identificato un errore invece di persistere nel percorso sbagliato.
- L'uso di segnali di validità locali permette alle decisioni intermedie di recupero di non subire penalizzazioni basate su esiti finali incerti o fallimentari.
- Il framework migliora in media la policy base di 4.8 punti sui benchmark ingegneristici del software, operando senza bisogno di un critico ausiliario durante il deployment.
- Gli ablation studies confermano che i benefici derivano dall'allineamento dei crediti alle fasi specifiche e dalla capacità della prefix di contenere evidenze diagnostiche sufficienti.
Perché conta. Per gli sviluppatori che lavorano con agenti AI locali, RIPPLE è rilevante perché permette di costruire sistemi più robusti in grado di auto-correggere errori complessi senza dipendere da risorse esterne o supervisione umana continua.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.