Concetto · 2 novità
Sparse Attention
Pagina pubblicata il · ultima novità il
Cronologia
- SpecOPD: Branch-Parallel On-Policy Distillation for Speculative DecodingPer gli sviluppatori che lavorano con LLM locali o agenti, SpecOPD offre un modo per accelerare significativamente l'inference senza sacrificare la qualità, superando i limiti delle tecniche di decodifica speculativa tradizionali e riducendo il costo computazionale dei rollout.
- Subquadratic Attention with a Hierarchical Tree-Structured IndexerPer uno sviluppatore che lavora con LLM e agenti locali, ZHA rappresenta una soluzione cruciale per gestire contesti ultra-lunghi (hundreds of millions) mantenendo la capacità ragionamento complessa senza richiedere hardware massivo.