Concetto · 2 novità
Decision adapter
Pagina pubblicata il · ultima novità il
Cronologia
- Glance: The Generator Is Its Own RerankerPer gli sviluppatori che lavorano con LLM locali o agenti, Glance offre una via efficiente per ridurre la footprint memory e computazionale eliminando l'overhead del mantenimento di modelli dedicati al reranking. Questo permette di scalare il numero di candidati valutati senza sacrificare le prestazioni, rendendo più pratici sistemi RAG complessi in ambienti con risorse limitate.
- Granite Switch 4.1: Chat, Decisions, and Speech from One EndpointPer gli sviluppatori che gestiscono agenti AI e LLM locali, questa architettura permette di ottenere funzionalità avanzate (decisioni sicure, trascrizione) senza il costo hardware aggiuntivo tipico dei modelli separati. La capacità di riutilizzare la cache KV riduce drasticamente i latency quando si alternano richieste di chat a task decisionali o vocali.