Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
Pubblicata su AIChronos il · fonte del · Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu (Tencent Hunyuan)
TreeOPSD è un framework per il reinforcement learning agentic che elimina la necessità di reti value o annotazioni a livello step. Il metodo tratta ogni turno dell'interazione come un nodo albero e ricorsivamente propaga i reward terminali implicitamente verso crediti turn-level. Utilizza una distribuzione teacher chiusa in forma, parametrizzata dal rapporto di likelihood rispetto alla policy comportamentale congelata, per limitare gli aggiornamenti sequenziali. Questo approccio migliora le capacità agentiche su benchmark competitivi e scala bene con modelli come Qwen3-30B-A3B-Thinking.
- Elimina la dipendenza da reti value o critic network tradizionali nel processo di distillazione.
- Tratta ogni turno dell'interazione come un nodo albero per propagare i reward terminali in modo ricorsivo.
- Definisce una distribuzione teacher chiusa in forma basata sul rapporto di likelihood rispetto alla policy comportamentale congelata.
- Migliora significativamente le performance su task a lungo orizzonte, superando metodi come GRPO (es. +4.97 punti su Qwen3).
- Previene il drift della policy e l'overshooting degli aggiornamenti sequenziali tramite un target finito.
Perché conta. Per gli sviluppatori di agenti AI locali, TreeOPSD offre una via per scalare il reinforcement learning con reward verificabili senza introdurre complessità aggiuntive come reti value esterne o annotazioni granulari. Questo permette di migliorare la stabilità e l'accuratezza degli agenti su task a lungo termine mantenendo un controllo rigoroso sugli aggiornamenti della policy.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.