Behavioral Compositionality of Sparse Autoencoder Representations
Aggiunta all'archivio di AIChronos il (numero del 17 ottobre 2026 ricostruito)· fonte del · Haotian Ma, Ziye Mei, Frederic Sala (OpenSAE)
Il lavoro introdusce SAE Additivity Residuals (SAR) per misurare la composibilità comportamentale delle rappresentazioni sparse autoencodicate. I risultati mostrano che le coordinate imparate dagli SAE supportano descrizioni comportamentali più composte, ma ancora necessitano di interazioni al di sopra dei singoli effetti delle feature.
- Introduzione di SAR per misurare la composibilità comportamentale
- Coordinate imparate hanno residui di prima ordine inferiori rispetto a rotazioni casuali
- Modellazione in paire migliora la fedeltà e riduce l'errore di ordinamento
Perché conta. Questo lavoro è rilevante per uno sviluppatore che lavora con LLM, agenti e AI locale poiché fornisce un approccio per migliorare la composibilità delle rappresentazioni sparse, facilitando l'interpretazione e l'intervento su modelli complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.