Multiscale Policy Optimization for Long-Horizon LLM Agents
Pubblicata su AIChronos il · fonte del · Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang
Il paper introduce Multiscale Policy Optimization (MPO), un metodo per ottimizzare gli agenti LLM a lungo termine che interagiscono con l'ambiente turno per turno. Si basa sull'Osservazione che i valori del critico variano principalmente tra i turni, motivando una stima dei vantaggi multiscala e uno campionamento di importanza al livello del turno. Questo approccio allinea l'assegnazione del credito e gli aggiornamenti della politica a scala di turno, superando le basi RL forti in compiti di ricerca, tool-use e automazione.
- Gli agenti LLM generano azioni token per token durante interazioni complete assistenti-turno.
- MPO combina Multiscale Advantage Estimation (MAE) con importance sampling al livello del turno.
- Le sperimentazioni su modelli A3B da 4B e 30B mostrano guadagni consistenti rispetto alle basi RL esistenti.
- Il metodo migliora l'assegnazione del credito tra i token all'interno di ogni turno dell'agente.
Perché conta. È rilevante per gli sviluppatori che lavorano con agenti LLM perché offre un framework robusto per migliorare la stabilità e le prestazioni degli agenti in compiti complessi a lungo termine, anche quando si utilizzano modelli locali come A3B.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.