On-Policy Distillation
Pagina pubblicata il · ultima novità il · sintesi aggiornata il 18 ottobre 2026
L'On-Policy Distillation (OPD) è una tecnica avanzata che trasferisce le capacità di un modello insegnante a uno studente allineando direttamente la distribuzione delle probabilità dei token generati, superando i limiti della distillazione tradizionale basata solo su output finali. Gli sviluppi recenti si concentrano sul mitigare il fenomeno del 'collapse' nelle configurazioni latenti e sull'integrazione multi-insegnante tramite normalizzazione per dominio o proiezioni condivise degli stati nascosti. Si osserva una tensione tra l'utilità dell'allineamento completo del vocabolario e la necessità di ridurre i gradienti conflittanti, suggerendo che gruppi top-k meno estesi possono essere sufficientemente efficaci quanto il matching 1:1. Inoltre, le ricerche evidenziano come strategie basate sulla supervisione delle rappresentazioni interne o su feedback guidati da critiche possano permettere allo studente non solo di eguagliare ma anche di eccedere le prestazioni dell'insegnante in compiti specialistici. L'analisi dello scaling conferma che l'aumento della divergenza KL inversa ha un impatto lineare iniziale sull'accuratezza, permettendo a modelli compatti RL di addestrare studenti molto più grandi senza degradazione delle performance. Infine, approcci innovativi come la supervisione tramite revisioni iterative o il trasferimento di shift di politica via waypoint dimostrano che l'allineamento può essere guidato non solo dall'output finale ma anche dalla correzione degli errori e dalle traiettorie intermedie.
Sintesi generata automaticamente dalle schede elencate.
Cronologia
- Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy DistillationQuesto metodo è rilevante per uno sviluppatore che lavora con LLM e agenti, poiché offre un approccio più preciso per il trasferimento delle politiche, migliorando la performance generale.
- Recovering Reliable Supervision via Critique-Guided On-Policy DistillationQuesta tecnica permette di addestrare modelli locali o agenti autonomi più robusti, evitando che l'errore iniziale si propaghi senza correzione durante la generazione. È fondamentale per migliorare l'affidabilità del ragionamento matematico e logico nei sistemi AI operanti in contesti competitivi.
- Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision ReliabilityPer gli sviluppatori che lavorano con LLM e agenti, questo paper è cruciale per ottimizzare strategie di distillazione in scenari reali dove teacher e student utilizzano tokenizzatori diversi (es. modelli open-source vs commerciali), evitando degradazioni delle prestazioni dovute a segnali di training rumorosi.
- Latent-MOPD: Latent Multi-Teacher On-Policy DistillationPer gli sviluppatori di agenti AI locali o sistemi distribuiti, Latent-MOPD offre un modo efficiente per combinare le capacità di diversi modelli specialisti in un unico studente senza costi computazionali aggiuntivi per il fine-tuning degli insegnanti.
- The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy DistillationPer gli sviluppatori di LLM e agenti, RIDE offre un modo robusto per migliorare modelli locali tramite distillazione senza subire il degrado tipico degli approcci basati su output-space quando l'insegnante è già ottimizzato. Consente di sfruttare i guadagni del RL direttamente nella rappresentazione interna, migliorando la generalizzazione dello studente oltre le capacità dell'originale.
- Scaling Properties of Same-Family On-Policy DistillationQuesta ricerca è cruciale per gli sviluppatori che lavorano con LLM e agenti locali perché dimostra come ottimizzare il trasferimento di capacità senza necessariamente scalare i modelli teacher fino a dimensioni proibitive. Comprendere le leggi di scaling dell'OPD permette di progettare strategie di fine-tuning efficienti, riducendo costi computazionali mentre si massimizza la performance su hardware limitato.
- Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy DistillationQuesta tecnica è cruciale per gli sviluppatori che costruiscono agenti AI o modelli locali perché permette di combinare competenze diverse (coding, math, instructions) in un unico modello senza sacrificare le prestazioni su domini specifici a causa del rumore statistico dominante.
- LastOPD: Taming Collapse in Latent On-Policy DistillationPer gli sviluppatori che lavorano su LLM locali o agenti autonomi, LastOPD offre una via per distillare modelli più piccoli da teacher avanzati senza perdere capacità cognitive critiche durante il fine-tuning. Evita la perdita di conoscenza (catastrophic forgetting) tipica dei metodi latenti puri, garantendo che l'agente mantenga le competenze logiche e matematiche del modello originale.
- Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical WorldQuesta architettura offre un percorso concreto per integrare agenti autonomi in ambienti fisici reali, fornendo supervisione diretta sulle transizioni di stato che i modelli puramente basati su dati statici faticano a comprendere.