Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang (jingdong)
Il paper introduce Road MOPD (Cross-Teacher Guarding), un'estensione del Multi-teacher on-policy distillation (MOPD) che risolve i conflitti di gradiente tra insegnanti specializzati in domini diversi. Il metodo utilizza critici ausiliari non routati per coordinare la supervisione a livello di token, rafforzando le correzioni concordate e attenuando i segnali contrastanti tramite l'assegnazione del credito (credit assignment). Inoltre, implementa una proiezione multi-insegnante dei gradienti che adatta dinamicamente la forza della proiezione per preservare i segnali di apprendimento nel dominio target. Gli esperimenti dimostrano che questa tecnica mitiga il degrado nelle prestazioni nei domini svantaggiati e migliora le performance complessive in scenari ad alto conflitto o a tre domini.
- Il routing del dominio tradizionale non è sufficiente quando gli insegnanti differiscono sostanzialmente nello stile di risposta, portando a conflitti persistenti durante l'ottimizzazione congiunta.
- Cross-Teacher Guarding introduce critici ausiliari che operano su traiettorie dello studente condivise per monitorare e coordinare i segnali provenienti da diversi domini.
- L'assegnazione del credito basata sull'accordo tra insegnanti permette di amplificare le correzioni valide e sopprimere quelle in conflitto a livello token.
- La proiezione dei gradienti multi-insegnante utilizza gradienti ausiliari per vincolare gli aggiornamenti potenzialmente conflittuali, adattando la forza della proiezione dinamicamente.
- Road MOPD supera il degrado del 5% nei domini svantaggiati in scenari ad alto conflitto rispetto ai metodi basati solo sul routing.
Perché conta. Per gli sviluppatori di LLM e agenti, questa tecnica è cruciale per implementare sistemi multi-insegnante stabili senza degradazione delle capacità nel dominio target. Consente l'uso efficiente della distillation on-policy in ambienti locali o distribuiti dove diversi modelli esperti devono collaborare su dati eterogenei mantenendo coerenza.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.