Concetto · 2 novità
SGLang
Pagina pubblicata il · ultima novità il
Cronologia
- unslothai/unsloth v0.1.912-beta — Trick or Treat + OptimizationsQuesta release è cruciale per sviluppatori che operano su hardware locale o server Linux limitati, poiché abilita un fine-tuning parallelo efficiente e riduce i colli di bottiglia I/O nel caricamento dei modelli.
- STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State QuantizationPer gli sviluppatori che gestiscono LLM e agenti, STEPQuant offre un modo efficace per mitigare il collo di bottiglia della memoria nei server concorrenti senza sacrificare drasticamente l'accuratezza del modello.