Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses
Pubblicata su AIChronos il · fonte del · Zhichang Yu, Baining Cao, Sbaaoui Idriss, Qi Wang, Gangqiang Xu, Ling Qin
Il documento introduce il concetto di 'Context as Infrastructure', dove la compilazione della conoscenza funge da strato fondamentale per i sistemi agentici basati su Retrieval-Augmented Generation (RAG). Attraverso un pipeline configurabile, gli LLM arricchiscono i documenti con strutture contestuali complesse come gerarchie di navigazione e grafi entità, superando le limitazioni degli indici tradizionali. Questa architettura trasforma il ciclo di ricerca in stazioni disciplinate che forniscono all'agente solo l'insieme minimo sufficiente di contesto, riducendo drasticamente il consumo di token query.
- Un harness competente con BM25/grep e MiniMax M3 raggiunge già alte performance (85-91%) senza indici compilati o vettoriali.
- La compilazione della conoscenza non migliora direttamente l'accuratezza sui benchmark, ma agisce come strato di approvvigionamento per ridurre il rumore contestuale.
- Una struttura ad albero con foglie claim-evidence riduce i token query del 91% quando le prove sono sufficienti e taglia la latenza decisionale da 140s a 30s.
- Gli artefatti strutturati (ontologie, wiki, timeline) offrono vantaggi critici in fase di deployment come governance e continuità temporale non misurabili dai benchmark standard.
- RAGFlow implementa un database nativo per agenti che consegna contesto compilato invece di semplici liste classificate.
Perché conta. Per gli sviluppatori di sistemi AI locali o agentici, questo approccio permette di gestire finestre contestuali limitate e costi elevati ottimizzando l'input al modello senza sacrificare la governance dei dati. È essenziale per costruire agenti scalabili che operano su documenti complessi mantenendo coerenza temporale e riducendo il token consumption.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.