TPPO: Tracking-Value PPO For Language Model Reasoning
Aggiunta all'archivio di AIChronos il (numero del 14 ottobre 2026 ricostruito)· fonte del · Futing Wang, Chenxi Li, Jianhao Yan, Yun Luo, Zhi Wang, Yizhuo Li
Il metodo TPPO (Tracking-Value PPO) introduce un nuovo approccio per il reinforcement learning nei modelli linguistici con ricompense verificabili, superando i limiti dei critici standard nel tracciare l'evoluzione del valore sotto ricompense terminali sparse. L'autore dimostra che le relazioni tra valori di prefisso successivi ammettono una decomposizione bayesiana in spazio log-odds, permettendo un'approssimazione additiva cumulativa per i value logits. Questa architettura migliora significativamente le prestazioni nel ragionamento matematico e la generalizzazione out-of-distribution rispetto a PPO standard.
- TPPO utilizza una parametrizzazione del valore cumulativo che somma output scalari posizionali in value logits tramite supervisione terminal-outcome.
- Il metodo ottiene un miglioramento di +7.0 punti su Qwen3-4B-Base e +8.4 punti su Qwen3-8B-Base nei task di ragionamento matematico rispetto a PPO standard.
- Le prestazioni migliori si estendono anche a modelli come Qwen2.5-Math, Qwen3.5, countdown e task di scientific coding.
- L'analisi conferma un tracciamento più accurato dell'evoluzione del valore e stime degli advantage più affidabili.
Perché conta. Per gli sviluppatori che lavorano con LLM per il ragionamento complesso o agenti autonomi, TPPO offre una soluzione pratica per migliorare la stabilità dell'apprendimento in scenari a ricompensa sparsa senza richiedere modifiche architetturali massive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.