DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models
Pubblicata su AIChronos il · fonte del · Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma, Yongliang Shen
Il paper introduce DTCA (Denoising Token Credit Assignment), un framework per l'assegnazione del credito a livello di token nell'apprendimento per rinforzo (RL) applicato ai modelli linguistici diffusivi (Diffusion Language Models - DLMs). Poiché il processo iterativo di denoising rende difficile attribuire i reward finali alle singole parole, DTCA stima i contributi dei token misurando l'aumento della fiducia predittiva sulle posizioni mascherate residue dopo la fissazione del token. Il metodo raggruppa questi segnali per categorie grammaticali (POS) e seleziona gli istanti di denoising più informativi durante l'addestramento RL, calibrando i segnali di apprendimento in base alle variazioni di entropia a livello di token.
- DTCA risolve il problema dell'assegnazione del credito (credit assignment) nei DLMs causato dalla natura iterativa del denoising.
- Il framework stima i contributi dei token analizzando l'improvement della confidence predittiva sulle posizioni mascherate rimanenti.
- I segnali di apprendimento vengono calibrati dinamicamente in base alle variazioni di entropia indotte dagli aggiornamenti della policy.
- Gli esperimenti su LLaDA-8B-Instruct dimostrano miglioramenti significativi nelle capacità di ragionamento matematico (fino a +9.0 punti su MATH500).
- L'approccio permette un affinamento parallelo dei token e una modellazione bidirezionale del contesto durante la generazione.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi basati su LLM, DTCA offre un metodo per potenziare le capacità logiche e matematiche dei modelli diffusivi senza sacrificare l'efficienza della generazione. Questa tecnica è cruciale quando si cerca di applicare RL a DLMs per migliorare il ragionamento complesso in scenari con vincoli computazionali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.