Every Weight Is a Path of Shared Discrete Decisions
Pubblicata su AIChronos il · fonte del · Ammar Ali, Stamatis Lefkimmiatis (ITMO University)
Il documento introduce TWIG (Tree-structured Weights with Inherited Gates), un nuovo formato di rappresentazione dei pesi in cui ogni peso è definito come l'estremità di una sequenza discreta di decisioni condivise. Questa struttura permette a qualsiasi rete neurale addestrata di essere espressa come circuito composto quasi interamente da adder e linee, ideale per chip con pesi fissati alla fabbricazione. Inoltre, unifica metodi di compressione come pruning, quantizzazione e weight sharing in una singola entità ottimizzabile.
- Ogni peso è rappresentato dalla fine di un percorso di decisioni discrete (segno, shift, gate zero) che vengono ereditate dai pesi sottostanti.
- I formati TWIG trasformano gli strati dei pesi in circuiti hardware efficienti costituiti da adder e linee senza bisogno di moltiplicatori dedicati per ogni peso.
- Permette a un singolo ottimizzatore di gestire simultaneamente pruning, quantizzazione e factorization low-rank come modifiche allo stesso oggetto.
- Su matrici con outlier forti, TWIG riduce le operazioni di addizione del 20-55% rispetto a GPTQ mantenendo lo stesso errore per strato.
- Il problema della scelta delle decisioni corrisponde al ground-state problem di una Boltzmann machine ad ordine superiore risolvibile da annealer.
Perché conta. Per gli sviluppatori che lavorano con LLM e AI locale, TWIG offre un percorso verso hardware più efficiente eliminando la necessità di moltiplicatori costosi per ogni peso fisso. Unifica le diverse tecniche di compressione in un unico framework, semplificando il deployment su dispositivi edge o chip dedicati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.