Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
Aggiunta all'archivio di AIChronos il (numero del 25 settembre 2026 ricostruito)· fonte del · Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, Polina Druzhinina
Questo lavoro dimostra che i Large Language Models (LLMs) possiedono un'inerenza di linearità fondamentale, permettendo loro di elaborare input combinati lineari producendo output sovrapposti. Sebbene questa proprietà tenda a diminuire durante il pretraining, può essere ripristinata efficacemente tramite fine-tuning leggero. Inoltre, viene introdotta una procedura guidata per la decodifica che permette di disaccoppiare gli output sovrapposti e generare due continuazioni coerenti in un singolo passaggio forward.
- I LLM mostrano linearità fondamentale quando input da flussi testuali distinti vengono combinati linearmemente, generando una distribuzione del prossimo token che è la somma delle distribuzioni individuali (Superposition Linearity Hypothesis).
- La superposizione non è un effetto emergente dell'addestramento ma una proprietà intrinseca dell'architettura Transformer che si indebolisce progressivamente durante il pretraining.
- Il fine-tuning leggero può ripristinare sostanzialmente la linearità, riducendo significativamente la divergenza tra la distribuzione predetta e quella media dei singoli input.
- È stato sviluppato un metodo di decodifica guidata capace di disaccoppiare gli output sovrapposti per generare simultaneamente due testi coerenti da una singola inferenza.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, questa scoperta offre nuove leve architetturali per ottimizzare l'uso della memoria dei modelli senza aumentare i parametri. La capacità di generare più output paralleli in un singolo forward pass può rivoluzionare le strategie di inferenza locale, riducendo latenza e costi computazionali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.