On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
Pubblicata su AIChronos il · fonte del · Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu (ByteDance)
Lo studio evidenzia che il Multi-teacher on-policy distillation (MOPD), pur ottenendo prestazioni eccellenti nella distribuzione supervisionata (IND), soffre di una significativa perdita di capacità fuori distribuzione (OOD) rispetto ai modelli base. L'analisi su compiti reali come ragionamento matematico, coding e agenti rivela che MOPD non trasferisce pienamente le capacità di generalizzazione dei teacher, rimanendo indietro del 18-24% sui task composti OOD. I colli di bottlenecks identificati sono la copertura dei dati e le capacità intrinseche dei teacher; mitigandoli congiuntamente si elimina il fenomeno dell'oblio OOD. Infine, l'autore propone tecniche basate sulla geometria degli aggiornamenti e replay preservante per migliorare la generalizzazione mantenendo le prestazioni IND.
- MOPD raggiunge il 96-102% dei punteggi IND dei teacher, ma i punteggi OOD scendono del 2.45-16.25% rispetto al modello base.
- Nei setting composizionali, MOPD migliora le prestazioni IND sul modello base, ma rimane indietro del 18.19-24.34% sui task composti OOD rispetto ai migliori teacher.
- L'oblio OOD può essere eliminato affrontando congiuntamente i limiti della copertura dei dati e delle capacità dei teacher.
- MOPD induce aggiornamenti più piccoli, spettralmente concentrati e con una struttura condivisa maggiore rispetto alle baseline di Reinforcement Learning (RL).
- Le tecniche proposte includono geometry-based patching e base-preserving replay per mitigare l'oblio OOD senza compromettere le prestazioni IND.
Perché conta. È cruciale per gli sviluppatori di LLM e agenti locali perché rivela un 'blind spot' nella consolidazione delle capacità tramite distillazione on-policy, spingendo verso algoritmi che supportano esplicitamente il retention OOD e la generalizzazione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.