When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning
Pubblicata su AIChronos il · fonte del · Zehao Wang, Hanzhu Chen, Runquan Gui, Zhe Wang, Lin Yang
Il Reinforcement Learning with Verifiable Rewards (RLVR) fallisce su problemi difficili quando tutti i rollout sono errati, portando gli estimatori di gruppo a un vantaggio nullo. I percorsi esperti risolvono il problema ma sono incompatibili con la politica corrente, richiedendo grandi spostamenti dei parametri e imitazione superficiale invece del trasferimento del ragionamento. L'autore propone Policy-Compatible Reinforcement Learning (PICO), che esegue una decodifica congiunta vincolata alla distribuzione per mantenere le probabilità relative dello studente guidate dai dati esperti. Questo approccio utilizza un meccanismo dinamico top-k con budget di divergenza finito e ottimizza i percorsi insieme ai rollout on-policy tramite importance sampling.
- Quando ogni rollout fallisce, gli estimatori relativi al gruppo (come GRPO) collassano l'aggiornamento a zero vantaggio.
- I dati esperti risiedono spesso in regioni di bassa probabilità per lo studente corrente, causando un mismatch distribuzionale severo.
- PICO preserva le probabilità relative dei token dello studente mentre guida la decodifica con i percorsi esperti al livello del token.
- Un meccanismo dinamico top-k confina la distribuzione campionaria sotto un budget finito di divergenza per garantire compatibilità politica.
- L'obiettivo misto-comportamentale mitiga il mismatch distribuzionale ottimizzando congiuntamente i percorsi esperti e i rollout on-policy.
Perché conta. Per uno sviluppatore che lavora con LLM, agenti e AI locale, PICO offre una via per migliorare il ragionamento su problemi difficili senza crollare quando le soluzioni sono al di fuori delle capacità attuali del modello. Questo metodo evita l'imitazione superficiale dei dati esperti, permettendo invece un trasferimento reale della logica di ragionamento mantenendo la coerenza con la politica corrente.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.