YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
Pubblicata su AIChronos il · fonte del · Shengyu Wang, Tengyue Nong, Junming Liu, Haosong Peng, Siyu Li, Ruiqi Lei
YANAMI introduce il primo dataset e benchmark su larga scala per l'interazione multimodale stateful (multiturn), colmando la lacuna dei dati esistenti dominati da task single-turn. Il dataset YANAMI-400K comprende oltre 2 milioni di immagini e 2,6 milioni di turni dialogici in scenari come Image Editing e World Modeling, richiedendo ai modelli di tracciare stati evolutivi complessi. Un benchmark dedicato valuta congiuntamente la comprensione dello stato del dialogo (Dialogue State Understanding) e la capacità visiva di realizzarlo (Visual Realization). I risultati dimostrano che il fine-tuning su YANAMI-400K migliora significativamente le prestazioni in editing, generazione e interazione stateful senza compromettere l'understanding generale.
- YANAMI è il primo dataset multimodale progettato specificamente per testare la capacità di mantenere stati dialogici evolutivi attraverso più turni (stateful interaction).
- Il corpus YANAMI-400K include scenari critici come Multi-Image Fusion, Image Editing, World Modeling e Visual Reasoning.
- YANAMI-Bench valuta sistematicamente il divario tra la comprensione dello stato del dialogo e l'accuratezza nella realizzazione visiva degli output.
- Il fine-tuning di BAGEL su YANAMI-400K porta a un miglioramento dell'13,23% nelle capacità stateful mantenendo le competenze generali.
- L'esperimento evidenzia che i Unified Multimodal Models (UMMs) attuali faticano ancora ad aggiornare e visualizzare fedelmente stati multimodali complessi.
Perché conta. Per gli sviluppatori di agenti AI, YANAMI offre un standard per valutare la coerenza a lungo termine necessaria in applicazioni reali come assistenti visivi o editor intelligenti. È fondamentale per chi lavora su LLM locali e multimodali che necessitano di gestire contesti complessi senza perdere informazioni tra i turni del dialogo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.