Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping
Pubblicata su AIChronos il · fonte del · Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang
Accordion è un modello basato su Mixture-of-Experts che introduce l'inferenza a profondità elastica tramite looping delle strati con prefisso fisso per supportare diversi budget computazionali. Il metodo utilizza il pre-addestramento congiunto e tecniche di distillazione multi-insegnante durante il fine-tuning supervisionato e reinforcement learning per integrare esperti specializzati in un unico modello. Questo approccio permette al minimo budget di mantenere l'architettura non loopata, mentre i budget superiori migliorano le prestazioni su compiti complessi come ragionamento matematico e generazione codice senza costi aggiuntivi significativi.
- Supporta cinque diversi budget di inferenza tramite percorsi di esecuzione predefiniti che riutilizzano parametri attraverso il looping delle strati.
- Il processo di addestramento campiona un singolo budget per micro-lotto, ottimizzando la previsione del prossimo token senza obiettivi aggiuntivi di coerenza incrociata tra i budget.
- L'aumento della profondità dell'inferenza migliora le prestazioni macro-medie su 37 compiti, con il budget medio che cattura l'89% dei guadagni usando metà delle esecuzioni extra rispetto ai livelli massimi.
- Il modello finale supera ogni esperto di dominio nei rispettivi task e mantiene forti capacità di ragionamento matematico e generazione codice in tutti i budget.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti, Accordion offre un modo efficiente per bilanciare costi computazionali e prestazioni senza dover mantenere modelli separati per ogni scenario d'uso.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.