Disaggregated Quantization: Specializing LLM Prefill and Decode
Aggiunta all'archivio di AIChronos il (numero del 28 settembre 2026 ricostruito)· fonte del · Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi, Tijmen Blankevoort, Dan Alistarh ( IST Austria Distributed Algorithms and Systems Lab)
Il paper propone 'Disaggregated Quantization' (DQ), un approccio che specializza formati di calcolo, pesi e posizionamento dello storage per le fasi separate di prefill e decode negli LLM. Rimuovere la quantizzazione delle attivazioni specificamente durante il decode migliora l'accuratezza sui task ad alta intensità generativa senza aumentare i costi di inferenza su modelli come Qwen 3 e Gemma 3. Addestrare pesi nativi per il calcolo solo nella fase prefill accelera l'elaborazione dei prompt rispetto all'inferenza basata esclusivamente sui pesi, mantenendo o superando l'accuratezza a livelli di decode da 2-3 bit. L'introduzione dell'offloaded disaggregated prefill (ODP) permette di gestire checkpoint aggiuntivi su un singolo dispositivo streaming i pesi dall'SSD.
- La quantizzazione disaggregata specializza formati computazionali e storage per ottimizzare separatamente le fasi di prefill e decode.
- L'eliminazione della quantizzazione delle attivazioni durante il decode migliora l'accuratezza sui task pesanti su generazione senza impattare i costi operativi.
- I pesi addestrati specificamente per la fase prefill accelerano significativamente l'inferenza rispetto ai baseline basati solo sui pesi, anche a bassi bit di precisione (1-2 bit).
- La tecnica ODP gestisce checkpoint aggiuntivi su singolo dispositivo streaming i dati dall'SSD, ottenendo un speedup del 1.78x nel tempo al primo token.
- L'approccio è validato tramite post-training quantization su modelli fino a 2.8T parametri e implementazioni in vLLM.
Perché conta. ["Permette agli sviluppatori di ottimizzare l'inferenza locale bilanciando velocità del prompt (prefill) e accuratezza della generazione (decode).", 'Consente di migliorare le prestazioni su task complessi senza richiedere hardware aggiuntivo, sfruttando efficientemente risorse esistenti come SSD.']
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.