Concetto · 2 novità
Model Runner V2
Pagina pubblicata il · ultima novità il
Cronologia
- vllm-project/vllm v0.31.0Questa release è cruciale per gli sviluppatori che operano con LLM locali o agenti autonomi poiché offre strumenti concreti per scalare l'inferenza su hardware enterprise (Hopper) riducendo i tempi di latenza e mitigando rischi di OOM durante il profiling MoE. Inoltre, le nuove garanzie di sicurezza proteggono da collisioni nei cache dei LoRA e attacchi tramite parametri multimodali non validati.
- vllm-project/vllm v0.30.0Questa release è cruciale per gli sviluppatori che gestiscono deployment locali o edge computing, offrendo meccanismi avanzati come HiSparse ed ipc_cache per massimizzare l'utilizzo dell'hardware esistente (es. SM100) e ridurre i tempi di latenza durante il riavvio dei servizi.