D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
Pubblicata su AIChronos il · fonte del · Baoyou Chen, Ruiqiao Mei, Guancong Lin, Tao Song, Weihao Yuan, Qun Liu (Fudan University)
D3D è un decoupled diffusion drafter che elimina la dipendenza inter-round tra il drafting e la verifica nei modelli target-conditioned, permettendo l'asynchronous speculative decoding. Combinando blockwise denoising con supervisione autoregressiva ausiliaria, D3D genera blocchi di successori durante la verifica in un passaggio compatto senza stati nascosti del modello target. L'approccio include un pruning progressivo delle layer basato sul loro impatto sulla lunghezza dell'accettazione per ridurre i costi computazionali.
- Rimuove la dipendenza sequenziale tra drafting e verifica, consentendo di generare blocchi durante la fase di verifica.
- Utilizza una combinazione di blockwise denoising e supervisione autoregressiva ausiliaria per ottenere prefixi accettati lunghi.
- Applica un pruning progressivo delle layer (rimuovendone 5 su 36) mantenendo oltre il 99% della lunghezza media di accettazione su tre benchmark con Qwen3-8B.
- Raggiunge un speedup medio del 5.00x e 5.71x su sette benchmark rispetto a DFlash, arrivando a 7.48x su GSM8K con Qwen3-32B.
- Il codice è open source e disponibile pubblicamente per la comunità.
Perché conta. Per gli sviluppatori che lavorano con LLM e AI locale, D3D offre un modo significativo per accelerare l'inference riducendo la latenza senza sacrificare la qualità delle risposte. È particolarmente utile in scenari di agenti autonomi dove la velocità di generazione dei token è critica per mantenere interazioni fluide.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.