StreamVibe: Proactive Video Agents for Evolving User Intent
Pubblicata su AIChronos il · fonte del · Chengzhi Liu, Yuxiang Lai, Yuzhe Yang, Yanqing Liu, Jiheng Hou, Yue Cao (Google)
StreamVibe introduce StreamVibe-Bench, un nuovo benchmark con 4.1K campioni di valutazione e 85K di training per testare interazioni utente basate su intenti espliciti, impliciti e dinamici. Il modello proposto, StreamVibe-VL, è progettato per inferire intenti utente impliciti da osservazioni continue e adattare le risposte in tempo reale durante la navigazione online. Per gestire lo stato persistente degli intenti con cicli di vita flessibili, viene implementata una memoria gerarchica all'interno del framework StreamVibe-Harness.
- StreamVibe-Bench copre scenari complessi includendo interazioni implicite (es. 'dove cliccare') e dinamiche in cui lo stato utente evolve continuamente.
- Il modello StreamVibe-VL migliora la qualità delle risposte del 10,7% rispetto alle baseline mantenendo una forte comprensione video generale.
- StreamVibe-Harness utilizza una memoria gerarchica per tracciare l'intento più recente e lo stato ambientale in modo persistente.
- Gli esperimenti evidenziano che i modelli proattivi esistenti falliscono nel decidere quando rispondere, specialmente sotto intenti impliciti o dinamici.
- L'uso di StreamVibe-Harness porta a un guadagno del 12,3% nell'interazione proattiva durante sessioni sostenute.
Perché conta. Questo lavoro è cruciale per sviluppatori che costruiscono agenti AI locali o sistemi conversazionali perché risolve il problema dell'inferenza di intenti non dichiarati e della gestione dello stato contestuale in tempo reale, superando i limiti dei modelli passivi offline.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.