FOCUS: Active Critic Learning for Long-Horizon Language Model Agents
Pubblicata su AIChronos il · fonte del · Zhengping Jiang, William Jurayj, Liaoyaqi Wang, Chunsheng Zuo, Anqi Liu, Benjamin Van Durme
Il metodo FOCUS affronta la difficoltà di assegnare il credito alle azioni iniziali negli agenti a lungo termine grazie all'uso di ricompense sparse. Introduce un meccanismo di ramificazione selettiva che permette alla rete critica (critic) di apprendere stime dei valori più accurate campionando attivamente le continuezioni dai stati con maggiore potenziale di riduzione dell'errore di stima. Utilizzando i confini indotti dalla compattazione per la stima del valore e l'assegnazione del credito, FOCUS migliora significativamente l'accuratezza su benchmark complessi come BrowseComp-Plus e DeonticBench rispetto a baseline come GRPO e VinePPO.
- FOCUS utilizza il ramificamento selettivo per ottimizzare l'apprendimento attivo della rete critica negli agenti RL.
- Il controller di rollout facilita la raccolta di campioni che massimizzano la riduzione dell'errore di stima del valore intermedio.
- L'integrazione con TD($\lambda$) advantage permette una valutazione precisa dei segmenti tra stati consecuti per l'assegnazione del credito.
- Un'interfaccia modulare gestisce il contesto e l'allocazione dei rollout, decoupling le due funzioni operative.
- FOCUS supera GRPO e VinePPO su benchmark di ragionamento legale, deep search e localizzazione codice con budget generativi paritari.
Perché conta. Per uno sviluppatore che lavora con LLM o agenti AI locali, FOCUS offre un approccio scalabile per migliorare la stabilità dell'apprendimento RL in scenari a lungo termine senza aumentare esponenzialmente i costi computazionali del campionamento.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.