RCSD: Reinforcement and Continual Learning for Domain-Specific Speculative Decoding
Pubblicata su AIChronos il · fonte del · Mingkang Liu, Weiming Meng, Peipei Jiao, Jiawei Zhang, Tianyuan Liu, Junyan Li
RCSD è un framework di addestramento che accelera l'inference dei grandi modelli linguistici allineando l'ottimizzazione del modello draft con l'obiettivo sistemico di massimizzare la lunghezza dell'accettazione. A differenza degli approcci convenzionali basati sulla distillazione soft-label, RCSD sfrutta sequenze accettate e rifiutate durante l'inferenza speculativa per costruire coppie implicite di preferenze. Utilizza una masked loss per evitare di penalizzare i token allineati al target, migliorando così le regioni ad alta entropia che altrimenti degradano il tasso di accettazione.
- RCSD supera HASS aumentando la lunghezza media dell'accettazione del 35% su vari benchmark.
- Il framework raggiunge un'inference end-to-end 1.35 volte più veloce rispetto a HASS sui carichi di lavoro pratici senza compromettere la qualità generativa.
- L'approccio evita il rischio di rifiuto precoce forzando l'allineamento del modello draft solo sulle regioni ad alta entropia rilevanti per l'accettazione.
- La costruzione di coppie implicite di preferenze avviene sfruttando le sequenze naturali prodotte durante lo speculative decoding.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, RCSD offre un metodo pratico per accelerare significativamente l'inference senza sacrificare la qualità del testo generato. Questo è cruciale per applicazioni in tempo reale dove il throughput dell'output deve essere massimizzato mantenendo coerenza semantica.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.