Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Vincent-Daniel Yun, Woosang Lim, Haneul Yoo, Sungjoo Yoo, Murali Annavaram, Sai Praneeth Karimireddy (University of Southern California)
Il documento introduce HeteroFold, un metodo per il trasferimento incrociato della cache KV (Key-Value) senza prefilling in sistemi multi-agente che combinano modelli eterogenei. Questa tecnica allinea le strutture dei modelli e mappa la cache del mittente nello spazio del ricevente mantenendo entrambi i modelli congelati. HeteroFold supera gli approcci basati sul testo per il trasferimento della cache su tutti i benchmark a lungo contesto testati, offrendo prestazioni superiori rispetto alle baseline state-of-the-art come Dense Latent e KV Ridge.
- HeteroFold abilita un riutilizzo efficiente della cache tra famiglie di modelli diverse senza richiedere prefilling nel ricevente.
- Il metodo gestisce differenze critiche quali tokenizzazione, profondità del modello e rappresentazioni KV attraverso allineamento strutturale e calibrazione.
- Su contesti da 32K tokens, il trasferimento Llama-3.1-8B verso Ministral-3-14B è circa 10,7 volte più veloce rispetto al Native Prefill.
- La soluzione mantiene le prestazioni del ricevente e si avvicina alle performance della comunicazione basata su testo sui benchmark multi-agente.
- HeteroFold ottiene i migliori risultati tra sei direzioni di trasferimento testate su quattro benchmark a lungo contesto.
Perché conta. Per gli sviluppatori che operano con LLM e agenti locali, HeteroFold riduce drasticamente la latenza e il consumo computazionale permettendo l'uso combinato di modelli eterogenei senza sovraccaricare i nuovi nodi della rete con operazioni di prefilling costose.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.