CacheGraft: Enhancing Retrieval-Augmented Generation via Latent-Space Document Enrichment
Pubblicata su AIChronos il · fonte del · Vihan Lakshman, Peter Baile Chen, Zhuohan Gu, Michael Cafarella
Questo lavoro propone CacheGraft, un sistema che migliora i sistemi di Retrieval-Augmented Generation (RAG) sfruttando la traduzione da cache a cache tra modelli diversi. Il metodo codifica offline ogni passaggio del corpus in una rappresentazione fusa della KV cache tra un modello 'sharer' più grande e uno 'receiver' più piccolo. Durante l'inferenza, questa cache può essere iniettata nel modello ricevente senza necessità di utilizzare il modello condiviso, offrendo guadagni zero-shot rispetto al fuser.
- CacheGraft utilizza la fusione Cache-to-Cache (C2C) per arricchire lo spazio latente dei documenti recuperati.
- Il sistema permette l'iniezione della cache del modello grande in un modello piccolo durante il query time senza addestramento aggiuntivo sul retrieval data.
- CacheGraft supera la baseline text-only su 17 di 30 confronti statisticamente significativi tra i benchmark testati.
- L'approccio è particolarmente vantaggioso per scenari a risorse computazionali limitate dove si può deployare solo un modello piccolo all'inferenza.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questa tecnica permette di ottenere prestazioni superiori sfruttando modelli più piccoli in fase di inferenza, riducendo i costi computazionali senza sacrificare la qualità delle risposte.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.