DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model
Pubblicata su AIChronos il · fonte del · Zixian Gao, Lixin Xiu, Penghao Luo, Xiangcheng Cao, Ziqi Cai, Zhen Li
DirCast è un modello streaming video-linguistico unico capace di gestire simultaneamente la regia e il commento live per le trasmissioni esports senza conoscere l'evoluzione futura dell'evento. Il sistema scansiona ogni secondo tutte le telecamere a bassa risoluzione per decidere i tagli, visualizzando poi solo la scelta effettuata ad alta risoluzione prima del parlato. Questo approccio permette al modello di mantenere nel contesto ciò che è andato in onda e detto, lasciando scadere gli altri feed, ottimizzando così il costo computazionale indipendentemente dalla lunghezza dello stream. La ricerca si basa su un dataset composto da 27 partite professionali di Dota 2 con telecamera per ogni eroe.
- DirCast esegue sia la regia (decidere i tagli) che il commento in tempo reale basandosi esclusivamente sul passato dell'evento.
- Il modello scansiona tutti gli ingressi video a bassa risoluzione e legge solo l'inquadratura selezionata ad alta risoluzione prima di parlare.
- La gestione del contesto espone le informazioni passate mantenute e fa scadere quelle non più rilevanti, limitando i costi dello stream.
- DirCast supera i direttori basati su regole e zero-shot (incluso GPT-5) nella scelta delle inquadrature.
- Il sistema ottiene il 29.2% dei confronti vinti contro GPT-4o nel protocollo Proact-VL, superando altri undici commentatori streaming.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti AI locali, DirCast dimostra come un singolo modello possa gestire compiti multi-modali complessi in tempo reale ottimizzando l'uso delle risorse attraverso strategie di attenzione selettiva.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.