VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
Pubblicata su AIChronos il · fonte del · Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan
VideoMemBench è un nuovo benchmark introdotto per valutare la capacità dei Multimodal Large Language Models (MLLMs) di mantenere informazioni contestuali durante conversazioni video multi-turno. A differenza degli esistenti dataset, questo set introduce dipendenze incrociate tra i turni che richiedono al modello di recuperare sia le informazioni visive precedenti sia quelle generate dalle risposte passate. La costruzione del dataset è supervisionata da un pipeline automatizzato con revisione umana per garantire la necessità e l'assenza di leak delle informazioni. I risultati mostrano una significativa difficoltà dei modelli attuali, incluso Claude Opus 5, nel gestire queste dipendenze a lungo raggio.
- Introduce il concetto di 'in-context video memory', distinguendo tra Episodic Dependency (memoria visiva) e Answer Dependency (memoria delle risposte generate).
- Ogni campione del dataset è composto da un singolo video abbinato a una lunga conversazione multi-turno con dipendenze verificate.
- Il benchmark include 326 video, 2.476 turni totali e 1.387 domande che richiedono esplicitamente il recupero di informazioni precedenti.
- Claude Opus 5 ottiene il punteggio più alto (45.7%), evidenziando le sfide attuali nella gestione della memoria contestuale nei modelli open- e closed-source.
- Il dataset è stato costruito utilizzando un pipeline con tre ruoli LLM: planner, generator e judger, seguito da revisione umana.
Perché conta. Per gli sviluppatori di agenti AI e sistemi locali, questo benchmark evidenzia la necessità critica di implementare meccanismi robusti di retrieval e gestione della memoria a lungo termine per evitare il degrado delle prestazioni in conversazioni complesse.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.