Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAG
Pubblicata su AIChronos il · fonte del · Abhishek Rai
L'articolo presenta nokast-secureRAG, un piccolo modello linguistico (circa 0.5B parametri) progettato come firewall semantico per sistemi RAG locali contro le iniezioni di prompt indirette e l'avvelenamento dei recuperi. Il modello utilizza una pipeline di addestramento teacher-judge-student che raggiunge il consenso del 95% prima del fine-tuning, classificando coppie query-contesto come sicure, sospette o malevole. Su un set di test in-distribution distribuito, ottiene un recall di rilevazione dello 0.994 con un tasso di falsi positivi molto basso (0.026), superando diverse baseline pubbliche e Llama Guard 3.
- Il modello agisce come filtro semantico tra il recupero dei dati e la generazione, valutando congiuntamente query utente e contesto recuperato.
- L'addestramento sfrutta un giudice indipendente da 120B per rietichettare esempi generati da un teacher da 35B su quattro famiglie di attacchi.
- La latenza singola richiesta è tra i 293 e i 404 ms, mentre la latenza amortizzata con batching scende a soli 37 ms.
- Il modello mostra una robustezza limitata contro gli attacchi di fact-poisoning fluenti nel benchmark PoisonedRAG, dove il recall crolla quasi a zero.
- La consistenza tra query e contesto riduce i falsi positivi, mentre il contesto recuperato è la principale fonte del segnale d'attacco.
Perché conta. ['Per gli sviluppatori di sistemi AI locali, questo approccio offre una difesa specifica contro le iniezioni indirette che bypassano i filtri tradizionali basati su regex.', "La disponibilità open source del modello e della pipeline permette l'integrazione diretta nei flussi RAG esistenti per migliorare la sicurezza senza costi elevati."]
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.