Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
Pubblicata su AIChronos il · fonte del · Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang
Deep Fusion Memory (DFM) è un'architettura di memoria parametrica progettata per ridurre il carico di costruzione dei dati e incorporare la conoscenza esterna negli stati nascosti intermedi. A differenza degli approcci esistenti che operano a livello token, DFM utilizza una predizione causale della memoria supervisionata da embedding recuperati dal corpus, condividendo la memoria tra i chunk. Questo approccio permette l'addestramento end-to-end con il backbone congelato ed elimina la necessità di recupero esplicito durante l'inference.
- DFM riduce drasticamente le risorse necessarie per costruire i dati di addestramento rispetto ai metodi basati su token, richiedendo 32 volte meno query e 2048 volte meno elementi recuperati.
- La memoria predetta viene condivisa tra tutti i token all'interno di ciascun chunk e fusa negli stati nascosti tramite gated cross-attention.
- Il modello supera le baseline più forti ottenendo un miglioramento del 12.71% su Mistral-7B-v0.3 e dell'11.19% su Qwen3-8B-Base in compiti di QA.
- L'inference non richiede alcun recupero esplicito, evitando l'overhead computazionale tipico dei sistemi RAG tradizionali.
- Oltre al QA, DFM mostra guadagni significativi nell'adattamento a domini specifici su Qwen3-4B e Qwen3-8B.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti autonomi, DFM offre un modo efficiente per estendere le capacità del modello senza dipendere da retrieval online costosi o rischiare il catastrophic forgetting durante il continued pretraining.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.