Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
Pubblicata su AIChronos il · fonte del · Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou
Il paper introduce TurnWise, un framework basato su Group Relative Policy Optimization (GRPO) progettato per migliorare la comprensione dei video in streaming. A differenza degli approcci esistenti che assegnano crediti a livello di traiettoria condivisa, questo metodo implementa l'assegnazione del credito a livello singolo-turno per allineare meglio il processo di apprendimento alle decisioni interattive individuali. Utilizza tecniche come lo 'silence-completed prefix scoring' e una media dei token losses tra i turni per separare i segnali di apprendimento e ridurre la ridondanza nelle risposte. Gli esperimenti dimostrano che questo approccio supera le metodologie precedenti senza richiedere un critico appreso o rollout aggiuntivi.
- TurnWise risolve il disallineamento tra feedback a livello di traiettoria e interazione turn-to-turn nei video streaming.
- L'assegnazione del credito a livello singolo-turno evita di rinforzare risposte ridondanti dopo successi precedenti o penalizzare follow-up utili dopo fallimenti iniziali.
- Il framework utilizza lo 'silence-completed prefix scoring' per costruire vantaggi relativi al gruppo basati sul ritorno residuo di ogni decisione.
- L'ottimizzazione della politica a livello turn-mean assegna peso eguale alle decisioni di risposta e attesa, indipendentemente dalla lunghezza dell'output.
- Il metodo migliora l'apprendimento delle policy in streaming senza necessità di un critico appreso o rollout supplementari.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti autonomi, TurnWise offre una via per ottimizzare le interazioni dinamiche riducendo la ridondanza computazionale e migliorando l'efficienza nelle risposte sequenziali. È particolarmente rilevante per chi cerca di implementare RL locale o sistemi streaming senza overhead aggiuntivi come critic network complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.