Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
Pubblicata su AIChronos il · fonte del · Kangning Zhang, Wenxiang Jiao, Bowen Fang, Shuai Shao, Jiachen Zhu, Rong Shan
Harness-S introduce un approccio per addestrare agenti generalizzabili sfruttando l'evoluzione di harness da una base comune che mostra proprietà come località e non stazionarietà. Invece di cercare uno strumento universalmente superiore, il metodo seleziona dinamicamente 'sibling harnesses' specifici per riparare fallimenti dell'esecuzione del sistema base durante la formazione della policy. Attraverso tecniche come l'Evoluzione Direzionale degli Harness e il Rescue Training Complementare, le capacità apprese vengono trasferite in una singola policy che rimane efficace anche quando ritorna all'harness originale.
- Harness-S utilizza un pool di sibling harness fissi per intervenire solo quando tutti i tentativi iniziali sotto l'harness base falliscono.
- Un Adaptive Harness Router seleziona dinamicamente le varianti migliori (Top-k) basandosi su profili comportamentali e votazione tra multipli LLM.
- Il metodo permette il trasferimento di comportamenti eliciti dagli harness nella policy stessa, superando la limitazione delle prestazioni nell'harness originale.
- L'uso del router per l'inferenza Rank-1 fornisce guadagni aggiuntivi mantenendo lo stesso numero di rollout dell'esecutore.
- Le analisi comportamentali su benchmark come AppWorld e SWE-Gym confermano che le capacità apprese sono generalizzabili.
Perché conta. Per gli sviluppatori di agenti AI locali, Harness-S offre una via per mitigare la fragilità degli strumenti di esecuzione specifici (harness) senza dover riaddestrare completamente i modelli ogni volta che cambia l'ambiente o il tooling.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.