CodeCap-Bench: Can Code Serve as a Good Video Caption?
Pubblicata su AIChronos il · fonte del · Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Te Sun
Il lavoro introduce CodeCap-Bench per valutare l'efficacia dei code caption come rappresentazione alternativa ai natural language captions nella descrizione di video. Gli esperimenti dimostrano che i code caption preservano meglio le strutture spaziali fini e la dinamica temporale, offrendo superiorità in task di ragionamento e ricostruzione visiva. Tuttavia, i modelli attuali faticano a generare fedelmente questi codici complessi, specialmente per catturare dinamiche temporali avanzate. Viene proposto un framework multi-livello su 323 video strutturati per testare sistematicamente le capacità dei MLLM.
- I code caption utilizzano primitive grafiche e regole di layout invece del linguaggio naturale, riducendo l'ambiguità nelle descrizioni spaziali e temporali.
- CodeCap-Bench include un dataset di 323 video in cinque categorie con annotazioni fini per valutare la fedeltà della generazione del codice.
- I modelli proprietari mostrano capacità promettenti ma faticano ancora a catturare dinamiche temporali complesse, mentre i modelli open-source sono significativamente indietro.
- La ricostruzione visiva e l'accuratezza nel question answering risultano superiori quando si utilizzano rappresentazioni basate su codice rispetto al testo naturale.
Perché conta. Questa ricerca è cruciale per gli sviluppatori di agenti AI che necessitano di descrizioni strutturate e non ambigue dei dati visivi, permettendo una migliore integrazione tra percezione video e ragionamento logico. Inoltre, evidenzia le attuali limitazioni dei MLLM nella generazione fedele di codice complesso, guidando lo sviluppo futuro per applicazioni locali o proprietarie che richiedono precisione spaziale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.