Bellman Policy Optimization
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Zhuoqing Song, Haotian Xu, Xikun Zhang, Lidong Bing (Apodex)
Bellman Policy Optimization (BPO) è un metodo senza critic per l'apprendimento per rinforzo con ricompense verificabili (RLVR), derivato dal Policy Mirror Descent (PMD). Il framework riformula PMD come obiettivo a livello di traiettoria utilizzando le equazioni di Bellman, evitando così la stima dei valori degli stati intermedi durante la generazione autoregressiva. Gli esperimenti sui benchmark di ragionamento matematico dimostrano l'efficacia del metodo nel migliorare le capacità logiche dei Large Language Models (LLMs).
- BPO è una tecnica critic-free che sfrutta le equazioni di Bellman per ottimizzare la politica.
- L'obiettivo riformulato mantiene la stessa soluzione ottima unica rispetto all'originale PMD.
- Il peso di correzione del mismatch utilizza un rapporto lisciato delle probabilità dei token complementari.
- Evita la necessità di stimare i valori degli stati intermedi durante il processo di generazione.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, BPO offre una via per migliorare le capacità di ragionamento senza introdurre complessità aggiuntive legate alla stima dei valori o a modelli critic esterni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.