Learning without Overwriting: Structural Knowledge Fusion for Continual Learning
Pubblicata su AIChronos il · fonte del · Kanishk Bakshi, Amitansu Pattanaik, Kathiravan Srinivasan
L'articolo introduce la Knowledge Fusion Network (KFN), un approccio per il continual learning che risolve il problema del catastrophic forgetting attraverso l'espansione strutturale guidata dalla novità invece della negoziazione dei parametri. KFN decoupla l'acquisizione di nuovi task dal consolidamento delle conoscenze, apprendendo ogni compito in una rete specialistica isolata e integrandola nel modello globale tramite un modulo di fusione strutturale dedicato. Questo metodo protegge le conoscenze consolidate grazie all'isolamento dello spazio canale e al defrosting temporizzato dei gradienti, mantenendo la stabilità-plasticità senza degradare severamente le prestazioni precedenti.
- KFN utilizza l'espansione strutturale guidata da un punteggio quantitativo di novità per allocare capacità dedicate ai nuovi task.
- Sul dataset Split CIFAR-100, KFN raggiunge una minima accuratezza del compito dell'11.94%, superando significativamente le baseline a parametri condivisi come LwF e Replay++.
- Il metodo previene la deriva della scala dei logit (logit-scale drift), garantendo prestazioni quasi simmetriche tra i task appresi.
- KFN offre una scalabilità lineare efficiente in termini di parametri, richiedendo solo il 25.1% della duplicazione del backbone rispetto a un approccio naive su dieci task.
- L'architettura riduce la memoria GPU fino al 37.1% rispetto alla riaddestramento completo, rendendola pratica per scenari con risorse limitate.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti AI locali, KFN offre una via praticabile per implementare il continual learning evitando la duplicazione massiccia dei parametri del modello base. Questo permette di aggiornare sistemi autonomi o agent-based su nuovi domini (es. analisi immagini satellitari) senza perdere le competenze pregresse né superare i limiti fisici della memoria GPU.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.