Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
Pubblicata su AIChronos il · fonte del · Boyuan Zheng, Jing Xiong, Chenwei Wu, Hui Shen, Zesen Zhao, Hei Ting Una Chan
Il paper introduce OnQ, un pipeline per il recupero delle capacità di ragionamento nei Large Language Models (LLM) a bassa bit attraverso l'uso del quantization-aware training. L'autore identifica due sfide principali: la divergenza tra i prefixi di addestramento fissi e quelli generati dallo studente durante l'inferenza, e un allineamento distribuzionale errato che porta a sottostimare o sovrastimare candidati specifici nei token successivi. Per risolvere questi problemi, OnQ combina il distillazione on-policy con una Dynamic KL pesata in modo candidato-specifico per bilanciare la correzione degli errori di previsione. Il metodo viene validato su modelli Qwen3 (1.7B, 4B e 8B) a precisione da 2-3 bit, ottenendo i migliori risultati medi su nove benchmark, specialmente nei task di ragionamento a lungo orizzonte.
- Esiste un mismatch tra i prefixi fissi usati nel supervisione QAT standard e quelli effettivamente incontrati durante la generazione dello studente quantizzato.
- La Dynamic KL bilancia il forward e reverse KL pesandoli in base al rapporto di probabilità insegnante-studente per ogni candidato token, correggendo sia le sottostime che le sovrastime.
- OnQ supera tutti i baseline su ogni benchmark a 2 bit per tutte le dimensioni del modello Qwen3, con un guadagno medio dell'10.26 punti sul modello da 8B.
- Il metodo riduce la lunghezza delle risposte generando meno truncazioni e errori ripetitivi rispetto ai metodi esistenti.
- Le prestazioni migliori si osservano sui benchmark di ragionamento a lungo orizzonte (long-horizon reasoning tasks).
Perché conta. Questa tecnica è cruciale per gli sviluppatori che operano su hardware locale o con risorse limitate, poiché permette di mantenere alte capacità logiche e di ragionamento anche quando si comprimono i modelli a bit molto bassi (2-3).
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.