Concetto · 2 novità
Expert Parallelism
Pagina pubblicata il · ultima novità il
Cronologia
- huggingface/transformers v5.20.0 — Release v5.20.0Questa release è cruciale per gli sviluppatori che costruiscono agenti AI locali o sistemi multimodali, poiché abilita l'uso di modelli a contesto ultra-lungo e architetture Mixture of Experts in modo sicuro e ottimizzato su hardware eterogeneo.
- huggingface/transformers v5.19.0 — Release v5.19.0Questa release è cruciale per gli sviluppatori di agenti AI locali perché ottimizza l'uso della memoria attraverso configurazioni granulari della cache, riduce i tempi di inferenza abilitando il continuous batching nativo e semplifica la scalabilità orizzontale dei modelli MoE tramite nuove strategie di parallelismo esperto.