Concetto · 2 novità
Agentic AI
Pagina pubblicata il · ultima novità il
Cronologia
- Muffin - A Shared Memory Buffer for Asynchronous AI AgentsPer uno sviluppatore che lavora con LLM, agenti e AI locale, MUFFIN offre un modo per scalare sistemi agentic riducendo drasticamente i costi computazionali (token) senza sacrificare l'accuratezza. Questo approccio è cruciale per implementazioni locali dove la gestione della memoria e il consumo di risorse sono vincoli stringenti.
- DLite: History-free Speculative Decoding for Agentic AIPer gli sviluppatori che lavorano con agenti AI e modelli locali, DLite offre un modo pratico per accelerare l'inference senza essere penalizzati dalla gestione di contesti in continua espansione. Questo approccio risolve il collo di bottiglia del cache KV storico, rendendo fattibile lo speculative decoding anche in scenari complessi tipici degli agentic workloads.