Concetto · 2 novità
CUDA Graphs
Pagina pubblicata il · ultima novità il
Cronologia
- vllm-project/vllm v0.33.0rc3 — v0.33.0Questa release è cruciale per gli sviluppatori che operano su infrastrutture locali o enterprise, offrendo supporto nativo all'hardware più recente (NVIDIA GB300/Blackwell) e riducendo drasticamente i tempi di avvio dei worker tramite pool condivisi JIT. Le nuove ottimizzazioni speculative decoding permettono un'inferenza più rapida ed economica per agenti AI complessi che richiedono elaborazione in tempo reale.
- vllm-project/vllm v0.30.0Questa release è cruciale per gli sviluppatori che gestiscono deployment locali o edge computing, offrendo meccanismi avanzati come HiSparse ed ipc_cache per massimizzare l'utilizzo dell'hardware esistente (es. SM100) e ridurre i tempi di latenza durante il riavvio dei servizi.