Representation Redistribution in Sparse Autoencoders
Pubblicata su AIChronos il · fonte del · Ziye Mei, Haotian Ma (OpenSAE)
Gli Sparse Autoencoders (SAEs) decompongono le attivazioni dei modelli linguistici in feature sparse, ma le trasformazioni del prompt possono ridistribuire l'attività tra queste feature senza necessariamente causare fallimenti. Gli autori introducono il Redistribution Sensitivity Score (RSS), che identifica risposte delle feature ricorrenti e coerenti nella direzione per quantificare la loro erodibilità su varianti escluse dalla selezione. L'analisi separa i cambiamenti rappresentazionali dai contributi di lettura firmati, dimostrando come magnitudine della risposta, coefficienti di lettura e margine pulito determinino le conseguenze a valle in modelli congelati.
- Il Redistribution Sensitivity Score (RSS) identifica grandi risposte delle feature che si ripetono in una direzione coerente su varianti escluse dalla selezione.
- In due readout di sicurezza congelati, combinare l'erosione del supporto RSS con il margine pulito completo produce AUROC ricorrenti di 0.935 e 0.958 usando supporti medi di 20 e 19 feature.
- La metodologia permette di distinguere i cambiamenti rappresentazionali dai fallimenti decisionali senza equiparare automaticamente un cambiamento nella rappresentazione a un errore del modello.
- Il profilo di ridistribuzione osservato su trasformazioni dei prompt è riproducibile su varianti escluse, validando l'approccio su 27 SAE pre-addestrati per otto modelli linguistici.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questo paper offre strumenti pratici per diagnosticare la robustezza dei meccanismi di sicurezza (safety readouts) senza dover modificare il modello sottostante. Comprendere come le feature sparse si ridistribuisce aiuta a quantificare i rischi reali rispetto alle semplici osservazioni superficiali delle attivazioni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.