Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
Pubblicata su AIChronos il · fonte del · Jian Gu, Hongyu Zhang, Chunyang Chen, Aldeida Aleti
Questo paper introduce i 'Lexical Reference Frames' (LexFrame), un metodo per interpretare gli stati nascosti dei modelli linguistici nella loro semantica nativa, superando le limitazioni delle tecniche esistenti come l'uso di lens fissi o il trattamento degli stati come nuvole puntuali. A differenza dei metodi precedenti che non leggono uno stato nel modo in cui lo fa il modello stesso, LexFrame utilizza i livelli rimanenti del modello per approssimare la cornice di riferimento indotta dai layer successivi e adattata al contesto. L'approccio raggiunge una coerenza superiore (0.97 su SmolLM3-3B e OLMo3-7B) rispetto ai limiti teorici dei lens fissi, permettendo attribuzioni più fedeli e uno steering efficace delle previsioni senza addestrare il modello.
- Ogni stato nascosto possiede una cornice di riferimento nativa indotta dai layer che lo leggono successivamente e adattata al contesto specifico.
- LexFrame legge gli stati attraverso i propri strati rimanenti con un numero definito di round di attenzione, evitando il fitting all'output del modello.
- La coerenza della lettura raggiunge 0.97 su SmolLM3-3B e OLMo3-7B, superando significativamente la radice quadrata della coerenza dei lens fissi (circa 0.30-0.35).
- Le letture fiduciose di LexFrame permettono un early exit che può saltare fino al 45% degli strati del modello, a differenza dei lens tradizionali.
- Il metodo rende ogni stato nascosto leggibile, attribuibile e steerable in modo nativo senza modificare l'architettura base.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti autonomi, LexFrame offre strumenti per interpretare internamente il ragionamento del modello (interpretabilità) e controllare le sue uscite in tempo reale (steering), ottimizzando l'uso delle risorse computazionali tramite early exit.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.