One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation
Pubblicata su AIChronos il · fonte del · Khouloud Saadi, Di Wang
Il paper introduce Monte Carlo Privileged Distillation (MCPD) per mitigare l'instabilità indotta dal riferimento nell'on-policy self-distillation (OPSD). Esiste una limitazione nei metodi esistenti che usano un'unica distribuzione del teacher condizionata alla soluzione completa di riferimento, poiché questa codifica non solo la risposta ma anche ordinamento e percorso della soluzione. L'autore dimostra che sostituire un valido riferimento con un altro può alterare significativamente la distribuzione del teacher, portando a target corretti che dipendono eccessivamente da informazioni indisponibili allo studente durante l'inference. MCPD risolve questo problema modellando il contesto privilegiato come una distribuzione su viste parziali di riferimento e distillando la distribuzione marginale del teacher.
- L'OPSD tradizionale soffre di 'reference-induced target instability', dove cambiare solo il testo della soluzione cambia drasticamente l'apprendimento dello studente.
- MCPD sostituisce la condizionamento su un singolo riferimento con una modellazione probabilistica che media tra multiple views parziali del contesto privilegiato.
- La probabilità-space average ottenuta da MCPD corrisponde esattamente al target indotto minimizzando la divergenza KL attesa tra teacher e studente sulle viste privilegiate.
- Su benchmark di ragionamento matematico e scientifico, MCPD produce supervisione più consistente rispetto ai riferimenti e supera l'OPSD a riferimento completo.
- Il metodo riduce la sensibilità al testo specifico della soluzione (reference sensitivity) mantenendo i benefici del training su traiettorie proprie.
Perché conta. Per uno sviluppatore di LLM o agenti AI locali, questo approccio è cruciale per garantire che il modello impara ragionamenti robusti e generalizzabili, evitando di memorizzare percorsi specifici della soluzione forniti come riferimento. Inoltre, MCPD permette un fine-tuning più efficiente su risorse limitate senza dipendere da una singola 'ground truth' testuale rigida.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.