ACE-Compression: An Ability-Centric Evaluation of Compressed Large Language Models
Pubblicata su AIChronos il · fonte del · Jiahui Ning, Liang Chen, Yuchen Liang, Yi Zhang, Fenglei Fan
ACE-Compression è un framework di valutazione 'centrico sulle capacità' che va oltre le metriche standard di performance per analizzare come la compressione dei Large Language Models (LLM) influenzi il profilo delle abilità sottostanti. Lo studio esamina quattro dimensioni critiche: ragionamento procedurale, grounding della conoscenza e veridicità, cognizione sociale e fedeltà del personaggio. I risultati dimostrano che mentre segnali superficiali persistono spesso intatti, le capacità fine-grained e dipendenti dal contesto diventano fragili dopo la compressione.
- La valutazione standard si ferma alla performance sul task, ignorando quali abilità specifiche sopravvivono o collassano durante la compressione.
- Le tecniche di quantizzazione mantengono generalmente meglio le capacità rispetto al pruning, ma il vantaggio pratico dipende dal tipo di applicazione.
- I segnali locali e superficiali tendono a persistere, mentre le competenze fine-grained e long-tail diventano vulnerabili alla distorsione distribuita del knowledge.
- Gli sviluppatori possono selezionare metodi di compressione in base al profilo delle capacità richiesto dall'applicazione specifica, non solo ai punteggi medi dei leaderboard.
Perché conta. Per chi sviluppa agenti o sistemi AI locali, comprendere quali abilità specifiche vengono compromesse dalla quantizzazione o dal pruning è cruciale per evitare che un modello compresso fallisca in scenari complessi pur mantenendo alte performance su benchmark standard.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.