IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation
Pubblicata su AIChronos il · fonte del · Shaohan Yu, Jie Qin, Wende Tan, Haiwen Diao, Limeng Qiao, Yueming Lyu (LongCat)
IntReal introduce un dataset reale (IntReal-100K) e una suite di valutazione per il task sottoutilizzato della generazione multimodale intercalata. L'approccio supera le limitazioni attuali grazie a protocolli di valutazione granulari che utilizzano modelli esperti, garantendo alta affidabilità diagnostica con ridondanza minima tra i metriche. Gli esperimenti dimostrano come l'ottimizzazione specifica per modalità (testo o immagine) possa migliorare la generazione intercalata senza necessitare sempre di addestramento congiunto.
- IntReal-100K è un dataset reale che copre quattro categorie principali di campioni multimodali intercalati.
- La IntReal Evaluation Suite diagnostica le prestazioni su sette dimensioni complementari tramite modelli esperti specializzati.
- I metriche mostrano una forte coerenza tra valutatori (Spearman's ρ> 0.9) e un alto accordo con i giudizi umani (83,3% di accuratezza).
- L'analisi benchmarking rivela punti di forza e debolezza distinti in diverse famiglie di Unified Multimodal Models (UMMs).
- Il post-training conferma che l'addestramento della generazione unimodale beneficia anche la capacità di generazione intercalata.
Perché conta. Questa risorsa è cruciale per gli sviluppatori perché fornisce strumenti concreti per diagnosticare le carenze dei propri modelli in scenari reali e ottimizzare i pipeline di training separando l'addestramento delle modalità, riducendo così la complessità computazionale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.