Order-Only On-Policy Distillation
Pubblicata su AIChronos il · fonte del · Guangzeng Han, Yu Wu, Xiaolei Huang
Il metodo Order-Only On-Policy Distillation (O³PD) addestra uno studente a replicare l'ordinamento dei token top-K del teacher senza cercare di imitare le loro probabilità esatte. Questo approccio elimina la dipendenza dalla temperatura del teacher, poiché l'ordine rimane invariato mentre i valori probabilistici cambiano. Di conseguenza, O³PD supera il distillazione on-policy standard (OPD) su benchmark matematici come HMMT25 e AIME24/25, ottenendo guadagni significativi fino a 5.6 punti. L'analisi dimostra che la conoscenza trasferibile risiede principalmente nell'ordinamento dei candidati piuttosto che nei valori di probabilità specifici.
- O³PD ignora i valori delle probabilità del teacher per concentrarsi esclusivamente sulla loro ordinazione relativa.
- L'obiettivo è invariante alla temperatura, eliminando la necessità di tuning termico durante il distillamento.
- Il metodo supera OPD su tutti e sei le coppie teacher-student testate nei benchmark matematici selezionati.
- Altri metodi basati sul ranking producono risultati simili, confermando che l'ordinazione è sufficiente per il trasferimento della conoscenza.
- Lo studente risultante riproduce fedelmente la gerarchia del teacher pur distanziandosi maggiormente dalle sue distribuzioni di probabilità.
Perché conta. Per gli sviluppatori di LLM e agenti AI locali, O³PD offre un modo robusto per comprimere modelli complessi in versioni più leggere senza essere vincolati da iperparametri come la temperatura. Questo è cruciale quando si lavora con risorse limitate o quando il teacher non ha una calibrazione perfetta, garantendo comunque prestazioni superiori nel ragionamento logico.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.