SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
Pubblicata su AIChronos il · fonte del · Tianyu Liu, Jun Zhang, Wenjie Huang, Yuhao Shen, Tianqi Xu, Xinyue Hao (Qwen)
SpecOPD è un framework per il distillazione on-policy (OPD) che parallelizza il campionamento dei bozzetti e la supervisione del target su rami indipendenti derivati dalla policy del generatore. Il metodo utilizza alberi di proposta per condividere i calcoli del prefixo target, impiegando maschere ad albero per l'attenzione piena, gruppi di indexer coerenti con il ramo per l'attenzione sparsa e replay dello stato indicizzato per l'attenzione lineare. Questa architettura elimina le dipendenze sequenziali tipiche dei rollout tradizionali, permettendo una supervisione diretta della lunghezza dell'accettazione tramite un surrogato E2E-TV.
- SpecOPD parallelizza il campionamento e la supervisione su rami indipendenti per superare i plateau legati alla lunghezza di accettazione.
- L'uso di alberi di proposta con maschere e indexer specifici ottimizza l'attenzione piena, sparsa e lineare simultaneamente.
- Il framework ha dimostrato fino al 41.45% di aumento della media della lunghezza di accettazione su modelli da 8B a 125B.
- Raggiunge un throughput dei token supervisionati 16.09 volte superiore rispetto all'OPD sequenziale e una velocità di generazione fino a 3.56 volte quella autoregressiva.
- È stato testato su tre architetture di bozzetto parallelo (DFlash, DSpark, DFlash V2) e quattro domini applicativi.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti, SpecOPD offre un modo per accelerare significativamente l'inference senza sacrificare la qualità, superando i limiti delle tecniche di decodifica speculativa tradizionali e riducendo il costo computazionale dei rollout.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.