EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
Pubblicata su AIChronos il · fonte del · Mingzhe Zheng, Yue Wu, Jing Tan, Chang Zou, Dengyang Jiang, Zeyue Tian (Tencent Hunyuan)
EmoReward introduce un meccanismo di addestramento auto-evolutivo per la generazione video emotiva che supera i limiti delle ricompense fisse e della difficoltà nel scalare RLHF. Il metodo distilla l'affidabilità dell'evidenza dalle tracce di reward raccolte durante una sessione di training, adattando così dinamicamente l'allocazione dei pesi multipli tra diverse fonti di segnale. Attraverso un processo che include la pianificazione di grounding cues e lo scoring tramite signal primitives eterogenei, il sistema calibra i contributi delle evidenze emotive a livello istanziale senza aggiornare direttamente i modelli di reward. Gli esperimenti condotti su HunyuanVideo 1.5 dimostrano miglioramenti significativi rispetto ad altri metodi agentic reward sotto SAGE-GRPO.
- EmoReward utilizza un meccanismo 'self-evolving' che determina quali evidenze emotive fidarsi e quanto pesarle basandosi sulle tracce di training precedenti.
- Il sistema impiega Reflective Reward Gating per calibrare i contributi dei segnali tramite gate a livello istanziale (fase, fiducia facciale, conflitto, sottigliezza).
- RewardMemory stima l'affidabilità primitiva dai rollout scores e fissa moltiplicatori boundati che calibrono i pesi di fusione nel prossimo training run.
- L'approccio evita il reward hacking tipico delle ricompense fisse per la qualità visiva o del movimento nei video generativi.
- Le valutazioni su SD 3.5 e FLUX confermano l'efficacia della calibrazione adattiva dei reward anche al di fuori dell'architettura Hunyuan.
Perché conta. Permette agli sviluppatori di gestire la soggettività nell'espressione emotiva senza affidarsi a modelli statici o difficili da scalare come RLHF. Fornisce un framework per calibrare dinamicamente i reward in sistemi locali che generano contenuti multimediali complessi, riducendo il rischio di instabilità durante l'inference.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.