R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
Pubblicata su AIChronos il · fonte del · Mingda Zhang, Yun Huang, Qiang Huang, Yanjin Li, Rui Qian, Qichao Zhao (Chinese University of Hong Kong, Shenzhen)
Il paper propone R^2Orch, un nuovo paradigma di orchestrazione degli agenti basato sul self-play ricorsivo per risolvere sfide come i curricula manuali e il collasso del vantaggio. L'approccio introduce Recursive Learnability come obiettivo di training che premia la scelta di compiti con esiti diversi durante l'estrazione delle skill, e Skill Withdrawal per rimuovere le competenze una volta dimostrato che non sono necessarie tramite valutazione controllata all'interno dello self-play. Questo ciclo permette alla orchestration di evolvere verso un deployment a zero-skill distillando i fallimenti in skill e poi nei parametri del modello.
- R^2Orch utilizza due loop: uno interno per migliorare l'orchestratore su compiti auto-selezionati tramite self-play, e uno esterno che ottimizza il processo di miglioramento dello stesso.
- L'obiettivo Recursive Learnability incoraggia la selezione di task i cui rollouts producono esiti diversi man mano che le skill vengono estratte.
- Il meccanismo Skill Withdrawal permette all'outer loop di rimuovere una skill quando l'orchestratore performa ugualmente bene senza di essa, riducendo la dipendenza da competenze esplicithe.
- I due loop formano un ciclo continuo in cui i fallimenti si trasformano in skill, le skill nei parametri del modello e il ritiro delle skill porta a nuovi fallimenti per stimolare l'adattamento.
- Gli esperimenti su dodici dataset dimostrano che R^2Orch supera costantemente le baseline in task di question answering, matematica, codice e interazione.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questo approccio riduce la necessità di curricula manuali complessi e permette un'orchestrazione più robusta capace di adattarsi dinamicamente ai compiti senza dipendere da skill fisse o rumore nella valutazione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.