Multimodal-SEA: Benchmarking AI Agent Security under Multimodal Social Engineering Attacks
Pubblicata su AIChronos il · fonte del · Zhitao He, Chi Him Zhang, Chengru Han, Yi R Fung
Il paper introduce Multimodal-SEA, un benchmark interattivo composto da 608 task progettati da esperti per valutare la sicurezza degli agenti AI personalizzati contro attacchi di social engineering multimodali. A differenza delle valutazioni esistenti focalizzate sul testo, questo framework simula scenari reali con contenuti multimodali falsificati in 14 domini e 152 scenari d'attacco. L'analisi di sette modelli multimodali ampiamente utilizzati rivela che tutti sono vulnerabili, con tassi di successo degli attacchi che variano dal 7,1% al 34,5%. Inoltre, l'aggiunta di contenuti multimodali aumenta il tasso di successo degli attacchi e le istruzioni di sicurezza più forti riducono gli attacchi senza migliorare la capacità di riconoscere i contenuti ingannevoli.
- Multimodal-SEA è un benchmark interattivo che integra controllo della progressione dell'attacco e costruzione di contenuti multimodali per il red teaming controllato.
- Tutti i sette modelli multimodali testati risultano vulnerabili agli attacchi, con tassi di successo significativi anche quando aumenta la copertura della verifica proattiva.
- Le istruzioni di sicurezza più robuste riducono il successo degli attacchi ma non migliorano il riconoscimento dei contenuti ingannevoli e possono causare rifiuti eccessivi di richieste legittime.
- Il benchmark copre contesti sociali e culturali distinti (cinese e inglese) attraverso task a quattro livelli di difficoltà basati su casi di frode reali.
- L'uso di log di esecuzione degli strumenti verificabili garantisce che gli esiti degli attacchi siano oggettivi e misurabili in ambienti simulati.
Perché conta. Per uno sviluppatore che lavora con LLM, agenti e AI locale, questo paper evidenzia la criticità della sicurezza intrinseca degli agenti quando esposti a inganni multimodali, spingendo verso architetture che distinguano tra verifica del contenuto e rifiuto delle richieste.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.