AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
Pubblicata su AIChronos il · fonte del · Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao, Yao Xu (Chinese Academic of Science Institute of Automation)
AskStream introduce un nuovo paradigma per l'interazione proattiva nella comprensione video in streaming, integrando la terza azione 'ask' (chiedere informazioni mancanti) accanto a 'wait' e 'answer'. Questo approccio mira a risolvere le limitazioni dei modelli esistenti che operano sotto incertezza da parte del video o dell'utente, evitando attese infinite o allucinazioni. Il benchmark proposto include 438 video con annotazioni temporali per valutare quando e cosa un modello dovrebbe chiedere prima di rispondere.
- Esiste una necessità critica di ridefinire l'interazione proattiva includendo la capacità del modello di interrogare attivamente su informazioni incomplete.
- Il benchmark AskStream copre quattro categorie di task con otto sottotask, valutando sia scenari a scelta multipla che aperti.
- I risultati mostrano limiti significativi: anche i modelli più forti raggiungono solo il 52.18% sul metrica proposta Ask-F1 sotto incertezza.
- L'incertezza può derivare da ambiguità nel contenuto video o dalle risposte dell'utente, richiedendo strategie di gestione specifiche.
Perché conta. Per gli sviluppatori che costruiscono agenti AI locali o sistemi multimodali in streaming, questo paper evidenzia la necessità di implementare meccanismi di 'information seeking' per garantire risposte affidabili. Comprendere quando e cosa chiedere è fondamentale per evitare allucinazioni nei contesti reali dove i dati non sono sempre completi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.