MemT-1.0: Towards Memory-Native Evolution
Pubblicata su AIChronos il · fonte del · Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, Xichong Zhang
MemT-1.0 è un'architettura di modelli fondazionali che internalizza la memoria come parte integrante del calcolo, superando i limiti dei metodi basati su recupero esterno (RAG). Il modello utilizza Gated DeltaNet-2 per aggiornamenti stabili a livello di token e Mixture-of-Storage per scalare la capacità nativa della memoria. Attraverso un pipeline di addestramento in due fasi supportato da 34 miliardi di token, MemT-1.0 supera le baseline parametriche mantenendo competitivezza con i metodi retrieval-augmented.
- Internalizzazione della memoria: la capacità di memorizzare informazioni diventa intrinseca al modello e non più un modulo esterno separato.
- Meccanismo Gated DeltaNet-2: permette aggiornamenti stabili a livello di token in ogni turno, garantendo coerenza durante l'evoluzione del contesto.
- Efficienza operativa: con una lunghezza storica di 128K tokens, MemT-1.0-Nano offre un accelerazione end-to-end dell'inferenza di circa $1.86\times$ e riduce lo storage persistente di $66\times$.
- Addestramento ibrido: il modello è sviluppato tramite continued pre-training seguito da post-training su infrastrutture efficienti.
- Miglioramento degli agenti: l'internalizzazione dell'esperienza procedurale recuperata aumenta significativamente il successo nei task agentic.
Perché conta. ['Permette di implementare capacità di memoria nativa senza dipendere da sistemi RAG esterni, riducendo la latenza e i costi infrastrutturali.', 'Consente a sviluppatori che lavorano su AI locale o agenti autonomi di gestire contesti lunghi (fino a 128K tokens) con un consumo di storage drasticamente inferiore rispetto al KV cache completo.']
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.