Cache Engineering for Agents
Pubblicata su AIChronos il · fonte del · Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu
Gli agenti basati su Large Language Model (LLM) affrontano costi dominanti legati all'I/O e allo storage della cache key-value (KV) durante traiettorie lunghe. Il paper propone 'cache engineering', un nuovo approccio che permette di controllare attivamente la crescita della KV cache senza modificare il prefisso del contesto o richiedere costosi re-prefilling, a differenza delle tecniche precedenti basate sul trimming o summarization. L'autore introduce operazioni specifiche come drop per escludere parti della cache dall'attenzione futura e repos per regolare le position encodings dei key retentuti. Viene formalizzata la sfida della 'history dependence', dove sequenze di token identiche possono produrre stati di cache diversi a causa delle operazioni applicate, rendendo insufficiente il matching del prefisso tradizionale.
- La gestione attiva della KV cache tramite drop e repos evita l'invalidazione dello stato causata dalla modifica del contesto storico.
- Il motore AKV fornisce un'interfaccia stateless compatibile con le API esistenti, gestendo internamente lo statoful per il riutilizzo ed evizione della cache.
- Una policy di rolling-drop basata sulle risposte degli strumenti migliora i punteggi dei benchmark medi del 1.7% e riduce i costi del 27.7% rispetto al summarization tradizionale.
- L'uso dell'architettura AKV aumenta fino a 1.2x il throughput in output e accelera la latenza P95 delle richieste di un fattore 1.5.
- Il miglioramento iterativo automatico delle policy della cache riduce ulteriormente i costi del 7.1% rispetto al design esperto.
Perché conta. Per gli sviluppatori che costruiscono agenti o sistemi AI locali, questo approccio è cruciale per gestire efficientemente le risorse di memoria e ridurre la latenza senza sacrificare l'accuratezza delle risposte su contesti lunghi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.