Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
Pubblicata su AIChronos il · fonte del · Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim
Il paper introduce LGWM, un modello del mondo per interfacce grafiche (GUI) progettato specificamente per la verifica della sicurezza delle transizioni degli agenti AI. A differenza dei modelli esistenti che generano output testuali o immagini richiedendo una seconda rete di giudizio, LGWM predice direttamente le rappresentazioni dello schermo successivo nello spazio in cui gli osservamenti sono codificati. Questo approccio riduce il processo di verifica a un semplice confronto vettoriale e permette di rilevare se uno stato futuro legittimo viene raggiunto tramite una transizione malevola (hijacked). L'architettura è decoder-free, non richiede annotazioni semantiche durante l'addestramento ed è stata allenata su 1.85 milioni di transizioni reali.
- La sicurezza degli agenti GUI dipende dalla validità della transizione (azione -> stato) e non solo dallo schermo finale osservato.
- LGWM elimina la necessità di un decoder o di modelli VLM esterni per il giudizio, operando direttamente nello spazio delle rappresentazioni.
- Il modello raggiunge una AUC del 0.987 in tempo reale (17 ms), superando significativamente i generative GUI world models e paragonandosi ai migliori VLM chiusi.
- La direzione residua del vettore predittivo permette di distinguere efficacemente le violazioni dannose da quelle benignhe con una AUC dello 0.953.
- Il framework RSWT-BENCH valuta i modelli mostrando lo stesso schermo credenziale sia in contesti legittimi che sotto attacco, rendendo obsoleti i detector basati solo sul contenuto visivo.
Perché conta. Per gli sviluppatori di agenti AI e sistemi locali, questo approccio offre una via per implementare verifiche di sicurezza robuste senza dipendere da modelli VLM esterni costosi o latenti. LGWM dimostra che la verifica può essere integrata nativamente nel ciclo inferenziale dell'agente operando nello spazio delle rappresentazioni, garantendo rilevamento tempestivo degli attacchi UI red teaming.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.