Self-Evolving Coding Agents via Harness-Policy Optimization
Pubblicata su AIChronos il · fonte del · Zhepei Wei, Wenlin Yao, Baolin Peng, Danqing Wang, Qianhui Wu, Hao Cheng
Il paper introduce Self-HPO, un framework di auto-miglioramento ricorsivo per agenti di coding che alterna l'ottimizzazione del harness e della policy. In ogni round, la policy corrente analizza i propri fallimenti e propone nuovi candidati per il harness (H-step), mentre viene aggiornata tramite reinforcement learning sotto il harness selezionato (P-step). Questo approccio garantisce che l'ottimizzazione del harness sia mirata ai failure modes in evoluzione della policy. Il metodo supera le baseline basate solo su harness o solo su policy, migliorando significativamente la risoluzione dei task e generalizzando a setting out-of-distribution.
- Self-HPO utilizza una loop ricorsivo dove la policy funge da proposer per il proprio harness in ogni iterazione di ottimizzazione.
- I hard tasks identificati durante l'addestramento formano dinamicamente l'insieme di ricerca per i prossimi candidati del harness, focalizzando lo sforzo su failure modes emergenti.
- L'integrazione congiunta dei componenti ottimali produce un guadagno prestazionale superiore alla somma delle migliorie individuali rispetto alle baseline separate.
- Il framework aumenta sia la affidabilità (Pass@1) che l'espansione della frontiera di capacità (Pass@k) dell'agente base Qwen3.5-35B-A3B.
- L'utilizzo di un modello esterno più forte come harness proposer può ulteriormente incrementare le prestazioni del sistema.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, Self-HPO offre una via per superare i limiti statici dei sistemi attuali, permettendo agli agenti di coding di evolversi autonomamente adattandosi ai propri punti deboli senza intervento manuale continuo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.