Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
Pubblicata su AIChronos il · fonte del · Tengfei Liu, Yang Shi, Yuran Wang, Yuqi Tang, Yizhuo Jia, Zhuoran Zhang
Reviso è un framework agentic per la captioning di video che supera i limiti dei MLLM tradizionali sovrappesando dettagli minori. Il modello costruisce dinamicamente un piano gerarchico Context--Focus--Points (CFP) partendo da una preview a bassa frequenza d'immagine, identificando il contesto globale e priorizzando gli aspetti chiave per l'osservazione attiva. Attraverso una strategia di percezione guidata dagli obiettivi, Reviso seleziona segmenti temporali specifici e combina strumenti per un'ispezione fine-grained, aggiornando iterativamente il piano in base all'evidenza acquisita. L'apprendimento della strategia osservativa avviene tramite un pipeline guidato dalla verifica fattuale e dall'affinamento del teacher-student.
- Introduzione di Reviso: un framework agentic che implementa l'osservazione attiva per la captioning video, distinguendo tra evidenze visive essenziali e minori.
- Utilizzo della struttura gerarchica Context--Focus--Points (CFP) per pianificare osservazioni mirate basate su una preview globale a bassa frame-rate.
- Addestramento tramite Group Relative Policy Optimization (GRPO) con reward specifici: key-fact, Plan Alignment Reward (PAR) e penalità Unproductive Tool-Call Penalty (UTCP).
- Superior performance rispetto alle baseline open-source sui benchmark video captioning e miglior supporto per le domande a risposta su video.
- Sviluppo di un pipeline guidato dalla verifica fattuale che costruisce traiettorie ad alta qualità attraverso l'affinamento del teacher.
Perché conta. Per gli sviluppatori di agenti AI, Reviso dimostra come la selezione attiva delle evidenze visive sia cruciale per migliorare la precisione dei MLLM in compiti complessi senza sovraccaricare il modello con dati irrilevanti. L'approccio offre un pattern utile per implementare osservazioni mirate e gestione efficiente del contesto nei sistemi di AI locale o distribuiti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.