Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
Pubblicata su AIChronos il · fonte del · Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li
Il meccanismo Sparse MoE migliora il compromesso tra capacità del modello ed efficienza di inferenza, ma richiede ancora lo stoccaggio completo degli esperti con conseguente elevato overhead di memoria. Lo studio dimostra che le uscite degli esperti negli strati MoE presentano ridondanza strutturata, caratterizzata da un rango stabile e una entropia inferiore al numero nominale di esperti. Di conseguenza, il paper riformula la pruning degli esperti come un problema di selezione del sottoinsieme che preserva la struttura, ottimizzandola tramite strategie greedy invece della valutazione indipendente o ricerca esaustiva.
- Vengono proposte due metodologie di pruning: Projection Energy Expert Pruning (PEEP) per preservare il sottospazio funzionale e Distributional Coverage Expert Pruning (DCEP) per mantenere la geometria distribuzionale.
- Entrambi gli approcci incorporano i pesi derivati dal router come priori, permettendo di preservare le relazioni strutturali globali tra esperti considerando contemporaneamente l'importanza locale individuale.
- Sui modelli DeepSeek-V2-Lite e Qwen3-30B-A3B, i metodi proposti superano lo stato dell'arte mantenendo il 75% o il 50% degli esperti senza degradare le prestazioni su benchmark generali e di ragionamento matematico.
- La ridondanza strutturata è osservabile attraverso metriche come rango stabile ed entropia, che risultano sistematicamente inferiori al numero nominale di esperti in diversi modelli e categorie di task.
Perché conta. Per uno sviluppatore che lavora con LLM locali o agenti, questa tecnica permette di ridurre drasticamente l'overhead di memoria necessario per il deployment mantenendo le prestazioni inferenziali quasi intatte.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.