SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum
Pubblicata su AIChronos il · fonte del · Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan
Matryoshka Representation Learning (MRL) ottimizza prefixi annidati per supportare dimensioni flessibili delle rappresentazioni, ma manca di vincoli espliciti per garantire che la porzione iniziale fornisca un'encoding compatta adeguato. SpecMRL risolve questo limite riorganizzando lo spazio delle feature tramite una base spettrale derivata dai parametri e organizzata in base all'importanza delle features. Il metodo mantiene il protocollo standard MRL, eseguendo la readout dei prefixi nello specifico spazio spettrale appreso. I risultati su MTEB dimostrano che SpecMRL supera le prestazioni di MRL a tutte le dimensioni ridotte valutate, con guadagni maggiori sotto compressione aggressiva.
- SpecMRL introduce una base spettrale derivata dai parametri per priorizzare meglio le direzioni informative nello spazio delle features.
- Il metodo estende il fronte di prestazioni di MRL, superando la versione full-dimensional con solo metà delle dimensioni dell'embedding.
- La readout dei prefixi avviene in uno spazio spettrale appreso invece che nel peso originale, migliorando l'efficienza della compressione.
- SpecMRL garantisce un encoding compatta più efficace nella porzione iniziale rispetto all'MRL standard.
Perché conta. Per gli sviluppatori di LLM e agenti AI locali, SpecMRL offre una via per ridurre drasticamente le dimensioni dei modelli mantenendo alte prestazioni, facilitando l'inference su hardware limitato o la distribuzione edge.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.