The LLM-Attacker: A Unified Red-Team Framework for Privacy Evaluation of Split and Distributed LLM Systems
Pubblicata su AIChronos il · fonte del · Georgios Politis, Evangelos Pappas (Setloop)
LLM-Attacker è un framework unificato per la valutazione della privacy nei sistemi di LLM split e distribuiti che registra le scelte degli attaccanti (dataset, pesi del modello) permettendo il confronto tra diverse valutazioni. Il sistema permette agli attacchi compatibili di riutilizzare messaggi registrati e salva le previsioni per una scoring indipendente, richiedendo un riferimento non difeso prima che una difesa possa essere considerata valida. In esperimenti su GPT-2, l'aggiunta dei gradienti durante l'addestramento ha aumentato significativamente il recupero dei token (da 94.20% a 97.38%) e la ricostruzione di documenti completi.
- Il framework standardizza le valutazioni della privacy gestendo variabili come messaggi intermedi, pesi del modello e dataset utilizzati dagli attaccanti.
- Le difese vengono validate solo rispetto a un riferimento non difeso collegato per garantire coerenza nello scoring.
- L'analisi include la rilevazione di attacchi rimasti inesplicati (untested attacks) che potrebbero minacciare il sistema.
- Gli esperimenti dimostrano come specifiche configurazioni, come i gradienti restituiti durante l'addestramento, impattino drasticamente sulla capacità di ricostruzione del testo.
- Il framework separa la verifica dell'implementazione dalla misurazione effettiva della efficacia degli attacchi.
Perché conta. Per gli sviluppatori che implementano agenti AI locali o sistemi split, questo strumento è fondamentale per garantire che le difese di privacy siano robuste e comparabili contro scenari realistici di attacco.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.