Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Songlin Yang, Xiaotong Zhao, Jiacheng Zhang, Zhe Wang, Toyota Li, Eric Liu (Tencent)
Il paper propone Adaptive Reward Routing per ottimizzare dinamicamente i modelli di diffusione audio-video congiunti durante il reinforcement learning (RL). Il metodo si basa su due componenti principali: Cross-Modal Influence-Guided Routing, che localizza gli aggiornamenti utilizzando le risposte bidirezionali cross-attention come proxy dell'influenza incrociata in evoluzione, e Preference-Preserving Modality-Aware Reweighting, che coordina i premi preservando pesi predefiniti come priori di preferenza. Questa approccio risolve conflitti emergenti durante l'addestramento senza permettere ai premi dominanti di sopprimere obiettivi essenziali deboli ma importanti.
- Adatta dinamicamente sia le posizioni degli aggiornamenti che la coordinazione dei reward nel processo RL forward (DiffusionNFT).
- Utilizza bidirezionali cross-attention responses come proxy efficiente per tracciare l'influenza incrociata modale in tempo reale.
- Preserva i pesi predefiniti come priori di preferenza e applica correzioni residue tramite interazioni reward-gradient specifiche per ramo dopo il warm-up.
- Migliora consistentemente qualità della modalità, coerenza semantica e sincronizzazione audio-video rispetto alle baselines RL esistenti.
- Evita che i reward dominanti sopprimano obiettivi secondari ma essenziali durante l'addestramento.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi multimodali, questa tecnica è rilevante perché offre un meccanismo per bilanciare dinamicamente conflitti tra diversi reward (es. qualità audio vs sincronizzazione) senza richiedere interventi manuali costanti sul modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.