Evolving to Match Capabilities: Improving Harness Self-Evolution via Skill Adaptation
Pubblicata su AIChronos il · fonte del · Zhihao Yang, Haojin Wang, Juncheng Wu, Kuan Zhang, Yukun Chen, Run Luo (University of Chinese Academy of Sciences )
Il lavoro introduce 'skill adaptation', un metodo per riformulare le competenze (skills) fornite da un harness in modo che siano eseguibili da modelli LLM più deboli senza aggiornarne i parametri. Gli autori diagnosticano fallimenti specifici nell'esecuzione degli strumenti, nella gestione del contesto e nel seguire le istruzioni per distillare una 'meta-skill' fissa che guida l'adattamento. Utilizzando un riscrittore esterno capace come Kimi-K3, questo approccio migliora significativamente la performance di modelli più piccoli su benchmark standard. L'integrazione in un ciclo auto-evolutivo a cinque round dimostra che questa tecnica aumenta consistentemente i punteggi finali rispetto ai loop senza adattamento.
- Le competenze (skills) utili per modelli forti possono degradare le prestazioni dei modelli deboli se non adattate alle loro capacità attuali.
- Il metodo diagnosta fallimenti in aree critiche come l'esecuzione degli strumenti, la gestione del contesto e il rispetto delle istruzioni.
- Una meta-skill fissa guida un riscrittore esterno (Kimi-K3) a riformulare le skills senza bisogno di evidenze esecutive dirette durante l'adattamento.
- L'inclusione dell'adattamento in un ciclo auto-evolutivo migliora i punteggi finali tra 2.0 e 5.1 punti su sette diversi executor.
- La soluzione offre una via pratica per migliorare gli agenti LLM sfruttando le esperienze esecutive senza modificare i parametri del modello.
Perché conta. Per uno sviluppatore che lavora con AI locale o modelli open-source, questo approccio permette di potenziare l'efficacia degli harness su risorse limitate adattando dinamicamente le istruzioni alle capacità dell'esecutore specifico.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.