4DMemory: Benchmarking Long-Horizon Spatiotemporal Memory with Harness-Augmented Agents
Pubblicata su AIChronos il · fonte del · Yanhao Jia, Yi Zhu, Yiran Zhong, Weigao Sun, Feida Zhu, Pengkun Jiao
Il documento introduce il dataset LongVideo e il benchmark 4DMemoryBench per valutare la capacità dei modelli di gestire ragionamenti spaziotemporali su orizzonti lunghi. Viene presentato anche l'architettura 4DMemory Harness, che integra quattro abilità complementari, oltre 20 modelli strumenti specializzati e un sistema retrieval-augmented generation specifico per modello. I risultati mostrano che i foundation models standalone faticano con questi compiti, mentre il Harness migliora le prestazioni di tutti i testati del più del 50%. Rispetto a benchmark precedenti, gli stessi modelli registrano una caduta delle performance superiore al 10% su questo nuovo standard.
- Il dataset LongVideo include circa 900 ore di video e oltre 5.000 domande manualmente revisionate per coprire diversi contesti temporali.
- L'architettura Harness combina quattro abilità, più di 20 modelli strumenti specializzati e un sistema RAG ottimizzato per ogni modello specifico.
- I foundation models standalone mostrano difficoltà significative nei compiti a lungo termine senza l'aiuto dell'Harness.
- L'integrazione con il Harness porta a miglioramenti delle prestazioni superiori al 50% su tutti i modelli valutati (13 in totale).
- Il benchmark rivela un calo di performance superiore al 10% rispetto ai test precedenti, evidenziando la difficoltà attuale dei LLM.
Perché conta. È cruciale per gli sviluppatori che lavorano con agenti AI e modelli locali perché fornisce strumenti concreti (Harness) per superare i limiti degli orizzonti temporali lunghi nei ragionamenti spaziotemporali. Il benchmark offre una metrica realistica delle capacità attuali dei foundation models, guidando lo sviluppo di sistemi più robusti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.