vllm-project/vllm v0.33.0rc3 — v0.33.0
Pubblicata su AIChronos il · fonte del · vllm-project
La release v0.33.0rc3 di vLLM introduce significativi aggiornamenti hardware e software, aggiornando PyTorch a 2.14.0 e supportando nativamente le GPU NVIDIA GB300 e AMD ROCm 10.0 per ottimizzare il decoding su modelli come DeepSeek-V4.1-Flash. Il progetto integra nuove funzionalità speculative (XPress refiner, FLy lossy verification) e migliora l'efficienza energetica tramite kernel specializzati e gestione avanzata della memoria UVA-offloaded MoE experts. Vengono inoltre espansi le capacità API con un endpoint /v1/decisions compatibile OpenAI e miglioramenti nella startup dei worker per ridurre i tempi di avvio.
- Aggiornamento a PyTorch 2.14.0, torchvision 0.29.0 e Triton 3.8.0 con abbandono del supporto CUDA 12.9 in favore della versione 13.0.
- Implementazione di ottimizzazioni speculative decoding tramite XPress refiner e quantizzazione del draft_lm_head per aumentare il throughput.
- Supporto espanso per modelli multimodali (PaddleOCR-VL, DeepSeek-VL2) con batched vision encoders che raggiungono guadagni fino all'85% nel throughput.
- Introduzione di un endpoint API /v1/decisions compatibile OpenAI e supporto per chunking tardivo negli embedding (output_mode="derender").
- Miglioramenti nella gestione della memoria con UVA-offloaded MoE experts (+7–19%) e DispatchPooler bypass che offre fino al 10.3% di guadagno.
Perché conta. Questa release è cruciale per gli sviluppatori che operano su infrastrutture locali o enterprise, offrendo supporto nativo all'hardware più recente (NVIDIA GB300/Blackwell) e riducendo drasticamente i tempi di avvio dei worker tramite pool condivisi JIT. Le nuove ottimizzazioni speculative decoding permettono un'inferenza più rapida ed economica per agenti AI complessi che richiedono elaborazione in tempo reale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.