Trainable Vector Quantization for Large Language Models
Pubblicata su AIChronos il · fonte del · Anastasiia Prutianova, Alina Bogdanova, Mikhail Shutov, Dmitrii Poimanov, Anatoly Gorkov, Ilia Zharikov
Il documento introduce TVQ (Trainable Vector Quantization), un metodo innovativo che utilizza la stima diretta per ottimizzare i gradienti nei modelli LLM quantizzati a vettori. A differenza degli approcci esistenti privi di addestramento, TVQ riformula l'ottimizzazione con pesi latenti addestrabili, permettendo il minimizzo di obiettivi arbitrari in un paradigma di distillazione delle conoscenze blocco per blocco. Questo approccio bilancia qualità ed efficienza dell'addestramento offrendo soluzioni pratiche per accelerare i processi computazionali.
- TVQ abilita l'ottimizzazione basata sul discesa del gradiente per modelli LLM quantizzati a vettori tramite straight-through estimation.
- Il metodo raggiunge prestazioni state-of-the-art in scenari di post-training quantization a basso bit con un budget di addestramento moderato.
- Per il modello LLaMA2-70B, TVQ realizza una quantizzazione quasi senza perdita a 2-bit con solo l'1% di calo dell'accuratezza sui benchmark Q&A.
- L'implementazione è semplice e basata su PyTorch, rendendo la tecnica accessibile per lo sviluppo locale.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti AI, TVQ offre un modo efficace per comprimere i pesi dei modelli riducendo drasticamente l'uso di memoria e accelerando l'inference senza sacrificare le prestazioni. La capacità di raggiungere una quantizzazione a 2-bit quasi priva di perdita rende fattibile il deployment di grandi modelli su hardware con risorse limitate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.