Concetto · 2 novità
Linear Attention
Pagina pubblicata il · ultima novità il
Cronologia
- SpecOPD: Branch-Parallel On-Policy Distillation for Speculative DecodingPer gli sviluppatori che lavorano con LLM locali o agenti, SpecOPD offre un modo per accelerare significativamente l'inference senza sacrificare la qualità, superando i limiti delle tecniche di decodifica speculativa tradizionali e riducendo il costo computazionale dei rollout.
- STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State QuantizationPer gli sviluppatori che gestiscono LLM e agenti, STEPQuant offre un modo efficace per mitigare il collo di bottiglia della memoria nei server concorrenti senza sacrificare drasticamente l'accuratezza del modello.