RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation
Pubblicata su AIChronos il · fonte del · Jaeyeon Heo, Geuntaek Lim, Yukyung Choi
Video Scene Graph Generation (VidSGG) deve gestire sia la persistenza delle identità degli oggetti che i cambiamenti improvvisi nelle relazioni temporali. Esistono metodi esistenti che aggregano informazioni tra frame ma rischiano di nascondere queste variazioni a causa dell'attenzione alla coerenza, un fenomeno definito come 'relational semantic inertia'. Per risolvere questo problema, gli autori propongono RTAformer, un framework one-stage che modella separatamente la persistenza delle entità e le transizioni relazionali. Il modello utilizza query calibrate per guidare gli aggiornamenti dei predicati e l'allineamento tra istanze incrociate durante il training per ridurre lo sfasamento rappresentazionale.
- Introduzione di RTAformer, un framework one-stage che separa esplicitamente la modellazione della persistenza delle entità dai cambiamenti relazionali.
- Iniezione di differenze calibrate tra query relazionali adiacenti per guidare gli aggiornamenti dei predicati e mitigare l'inerzia semantica.
- Utilizzo dell'allineamento incrociato degli istanze durante il training per ridurre lo sfasamento rappresentazionale (representational drift) tra frame diversi.
- Risultati sperimentali su Action Genome che mostrano miglioramenti nel recall, con guadagni maggiori sui frame di transizione rispetto a quelli non-transizionali.
- Ablation studies confermano l'efficacia dei componenti proposti e le comparazioni con backbones matching evidenziano i benefici specifici per la gestione delle transizioni.
Perché conta. Per uno sviluppatore che lavora con agenti AI o sistemi locali, comprendere come gestire correttamente sia lo stato persistente degli oggetti che le loro dinamiche evolutive è cruciale per costruire osservatori video affidabili. RTAformer offre un approccio strutturato per evitare errori di persistenza predittiva in scenari dove le relazioni tra entità cambiano rapidamente nel tempo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.