VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
Pubblicata su AIChronos il · fonte del · Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen
VibeVideoBench è un benchmark introdotto per valutare gli agenti multimodali nella generazione di video guidata dal codice. Il dataset include 239 task autonomi in inglese e cinese che richiedono agli agenti, operanti senza modelli generativi pre-addestrati su immagini o video, di produrre clip MP4 con audio entro un'ora. La valutazione è gerarchica ed evidence-based, combinando controlli automatici del codice, rubriche specifiche per il task e giudizi qualitativi da parte di pannelli VLM e umani.
- Gli agenti multimodali scrivono codice per renderizzare frame-by-frame invece di affidarsi a modelli diffusion video tradizionali.
- Il benchmark copre 12 categorie, inclusi data stories, lezioni scolastiche e paper explainers, in un ambiente sandbox isolato.
- GPT-6 Astra e Claude Opus 5.5 si posizionano al primo e secondo posto sia con i giudici VLM che con gli annotatori umani.
- La consegna del video è critica: circa il 75% dei fallimenti deriva da una pianificazione temporale insufficiente degli agenti durante l'ora disponibile.
- Il ranking basato sui giudizi automatizzati corrisponde strettamente alle preferenze umane cieche.
Perché conta. Per gli sviluppatori che lavorano con LLM e AI locale, questo paper evidenzia come la capacità di pianificare pipeline di rendering autonome sia più cruciale della semplice qualità visiva. Rappresenta un passo avanti verso l'uso affidabile degli agenti per creare contenuti multimediali complessi senza dipendere da grandi modelli cloud-based.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.