Guided Zero-Shot Anomaly Explanation for Anonymized Crowd Video Monitoring: Context, Categorization, and Spatial Localization
Pubblicata su AIChronos il · fonte del · Mulugeta Weldezgina Asres, Lei Jiao, Christian Walter Omlin
Lo studio presenta XAVAD, un approccio unificato per l'XAI (Explainable AI) in sistemi di rilevamento anomalie video che garantiscono la privacy tramite anonimizzazione zero-shot. Il metodo integra categorizzazione delle anomalie, localizzazione spaziale e descrizione del contesto utilizzando embedding multimodali CLIP e VLMs con prompting LLM migliorato. Viene introdotto un meccanismo innovativo 'prompt-guided patching autofocus' per potenziare Grad-ECLIP nella generazione di mappe termiche degli hotspot anomali. Gli esperimenti su dataset CCTV pubblici dimostrano guadagni significativi rispetto allo stato dell'arte, bilanciando accuratezza e costi computazionali.
- Integrazione flessibile di anonimizzazione zero-shot per proteggere la privacy nei sistemi VAD (Video Anomaly Detection).
- Utilizzo di embedding CLIP multimodali combinati con meccanismi pool-scoring per l'identificazione del tipo di anomalia.
- Miglioramento della localizzazione spaziale tramite un nuovo meccanismo 'prompt-guided patching autofocus' basato su Grad-ECLIP.
- Generazione di descrizioni contestuali e ragionamenti sulle anomalie sfruttando VLMs (Vision-Language Models) con prompt engineering curato.
- Valutazione empirica che conferma l'eccellenza del metodo rispetto ai benchmark esistenti in termini di accuratezza ed efficienza.
Perché conta. È rilevante per gli sviluppatori perché offre un framework pratico per implementare sistemi AI locali e agenti visivi che operano su dati sensibili (come video CCTV) mantenendo la trasparenza decisionale senza violare le normative sulla privacy.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.