vllm-project/vllm v0.30.0
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · vllm-project
La release v0.30.0 di vLLM introduce supporto per nuovi modelli come DeepSeek-V4.1 e GLM-5.3 con ottimizzazioni specifiche (MXFP8 KV storage su SM100, EPLB), implementando Fast Start tramite cache dei pesi persistente GPU-to-GPU. Migliora significativamente le prestazioni del Model Runner V2 grazie a CUDA graphs completi, dual-batch overlap in eager mode e adattatori per modelli speculativi avanzati come EAGLE3 e DSpark. L'aggiornamento include anche funzionalità di quantizzazione online mirata (AutoRound), gestione efficiente della memoria host con HiSparse sotto pressione GPU e ottimizzazioni kernel specifiche per architetture NVIDIA recenti.
- Implementazione del daemon persistente --load-format ipc_cache per mappare i pesi TP-sharded su CUDA IPC al riavvio dell'engine, riducendo il tempo di avvio (Fast Start).
- Ottimizzazione delle prestazioni Qwen3.8-Flash-Next tramite separazione dei kernel prefill/decode e rimozione di torch.compile per l'implementazione NVIDIA GB300.
- Espansione del supporto speculative decoding con EAGLE3, Nemotron-H MTP quantizzato e DSpark top-k projections.
- Introduzione di HiSparse come tier residente host che spilla le pagine KV nella memoria pinned sotto pressione GPU senza bloccare il servizio.
- Miglioramenti della correttezza nel supporto dei checkpoint fine-tuned privi di proiezioni KV su layer condivisi e unificazione del profiling audio.
Perché conta. Questa release è cruciale per gli sviluppatori che gestiscono deployment locali o edge computing, offrendo meccanismi avanzati come HiSparse ed ipc_cache per massimizzare l'utilizzo dell'hardware esistente (es. SM100) e ridurre i tempi di latenza durante il riavvio dei servizi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.