Venus-DefakerOne2: A Vision-Forensics Foundation Model with Broader Coverage
Pubblicata su AIChronos il · fonte del · Chenfan Qu, Yachao Liang, Mingqi Fang, Jiangwei Xie, Zhenming Wang, Baoyue Zhang (inclusionAI)
Venus-DefakerOne2 è un modello fondazionale per la forensics visiva che estende le capacità di rilevamento delle contraffazioni lungo le dimensioni del tipo di falsificazione e del formato dei media. Il modello, addestrato su decine di milioni di campioni open-source e interni, integra due progettualità chiave: Tide-Style-Tuning per bilanciare efficienza computazionale e generalizzazione tramite alternanza tra LoRA e fine-tuning completo, ed Entropy-based Test Adaptation per selezionare la modalità predittiva ottimale. Questo approccio permette al modello di superare lo stato dell'arte su benchmark completi che includono DeepFake facciali, immagini AI-generate, documenti alterati e video sintetici.
- Il modello copre uno spettro minaccioso eterogeneo includendo sia manipolazioni digitali che spoofing fisico in formati immagine e video.
- Tide-Style-Tuning utilizza l'alternanza tra LoRA e fine-tuning completo per mitigare il forgetting catastrofico mentre si adattano a campioni difficili.
- Entropy-based Test Adaptation analizza l'entropia delle previsioni per determinare dinamicamente la modalità predittiva più adatta al caso specifico.
- Venus-DefakerOne2 ottiene risultati SOTA su DeepFake facciali (96.7%) e video AI-generate (96.0%), superando modelli esperti specializzati.
- Il modello rappresenta un passo avanti rispetto a DefakerOne, offrendo versatilità per task forensici di decisione binaria.
Perché conta. Per gli sviluppatori che lavorano con agenti AI e sistemi locali, questo paper dimostra come fondare capacità robuste su dati eterogenei (immagini/video) sia cruciale per la sicurezza dei contenuti generati. Le tecniche di adattamento del test basate sull'entropia sono rilevanti per ottimizzare l'inference in scenari reali dove le condizioni e i tipi di attacco variano dinamicamente.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.