MoG-VLM: Efficient Video Anomaly Detection through Motion-Guided Vision-Language Models
Pubblicata su AIChronos il · fonte del · Khaled Waleed Dawoud, Muhammad Zaigham Zaheer, Khan Muhammad, Muhammad Haris Khan
MoG-VLM è un framework per la rilevazione di anomalie video che utilizza modelli Vision-Language (VLM) in modo efficiente evitando l'inferenza densa su tutti i frame. Il metodo introduce il Temporal Gradient Magnitude (TGM) come segnale leggero di controllo del movimento per campionare solo le regioni informative, attivando il ragionamento VLM multi-frame esclusivamente attorno a frame con alta probabilità di anomalia tramite espansione contestuale ancorata e terminazione anticipata. Un modulo di fusione integra poi questi segnali semantici istantanei con la dinamica temporale delle azioni. Questo approccio supera lo stato dell'arte su tre benchmark in un setting zero-shot senza addestramento, offrendo al contempo una velocità di inferenza 1.31 volte superiore rispetto ai metodi precedenti.
- Utilizzo del movimento come segnale di controllo leggero per decidere quando eseguire l'inferenza VLM, evitando elaborazioni ridondanti su segmenti statici.
- Implementazione di un design a doppio flusso gerarchico che attiva il ragionamento denso solo dove necessario tramite espansione della finestra contestuale attivata da ancoraggi (anchor-triggered).
- Raggiungimento del nuovo stato dell'arte zero-shot e training-free su tre benchmark principali, con miglioramenti significativi in termini di AUC-ROC.
- Ottimizzazione delle risorse computazionali processando meno frame ma in modo più intelligente rispetto alla densificazione uniforme dell'inferenza VLM.
- Fusione efficace tra indizi semantici istantanei e dinamica temporale per migliorare l'accuratezza nella rilevazione di anomalie localizzate.
Perché conta. Permette agli sviluppatori di integrare modelli LLM/VLM complessi in applicazioni locali o edge senza sacrificare la velocità, gestendo efficientemente il consumo computazionale. Offre un pattern architetturale per ridurre i costi di inferenza nei sistemi AI che devono operare in tempo reale su flussi video continui.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.