AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos
Pubblicata su AIChronos il · fonte del · Yuesheng Huang, Hoi Fan Au, Jiaqi Hou, Ruicheng Zhang, Jiarui He, Haocheng Yang (Tsinghua University)
AV-FABLE è un benchmark duale-timeline per la forensica audio-visiva in video lunghi a scene aperte, contenente oltre 900 ore di coppie twin modificate e non. Lo studio evidenzia che le AV-LLM (Audio-Visual Large Language Models) falliscono nel rilevare manipolazioni localizzate quando usate con prompting zero-shot, ma mostrano segnali forensici forti se si leggono i loro feature percepiti congelati tramite readout supervisionato. Viene proposto NFSR (Native Forensics via Separated Readouts), un metodo che utilizza decoder temporali separati per audio e video su questi frozen features, superando le prestazioni di tutti gli approcci esistenti anche in scenari out-of-distribution.
- I benchmark attuali si concentrano su clip brevi (talking-heads) ignorando la forensica temporale nei video lunghi a scene aperte.
- Le AV-LLM con prompting zero-shot ottengono prestazioni vicine al caso fortuito e localizzano male il tempo delle manipolazioni sparse.
- I frozen perception features delle AV-LLM contengono evidenze di manipolazione non esposte efficacemente dai linguaggi naturali.
- NFSR utilizza readout supervisionati su feature congelate con decoder temporali separati per massimizzare la localizzazione.
- Il dataset include 16.650 coppie twin create con 27 configurazioni di editing audio e visivo separate.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti o AI locale è cruciale comprendere come i frozen features interni possano nascondere evidenze forensiche invisibili all'output testuale. Questo lavoro offre una via per integrare capacità di rilevamento deepfake direttamente nei modelli locali senza necessariamente ri-addestrarli completamente.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.