Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation
Pubblicata su AIChronos il · fonte del · Shu Zhao, Tan Yu
L'articolo introduce il problema dell'errore cumulativo nell'agentic on-policy distillation (OPD), dove la valutazione basata sul prossimo token del teacher porta lo studente fuori dalla regione di affidabilità senza penalizzare i ritardi sicuri. Gli autori dimostrano che questo fenomeno, definito 'rollout-scorer gap', deriva dal fatto che il teacher valuta ogni token ignorando l'esito finale dell'episodio. Viene proposto Rollout-to-Scorer Distillation (R2S), una tecnica di riparazione del scorer che utilizza stati ad alta disaccordo e takeovers del teacher per generare punteggi informati, senza richiedere ricompense durante la fase di distillazione.
- L'errore cumulativo nell'OPD standard permette allo studente di uscire dalla regione affidabile del teacher perché i movimenti sicuri ma ritardati non vengono penalizzati dai next-token scores.
- Il 'rollout-scorer gap' identifica la discrepanza tra le azioni eseguite dal teacher e i punteggi assegnati, causata dall'invisibilità dell'esito finale durante il scoring token-by-token.
- R2S ripara questo difetto scavando stati di alta disaccordo ed eseguendo takeovers del teacher per ottenere una valutazione più accurata basata sull'outcome.
- Il metodo R2S supera tre state-of-the-art agentic-OPD methods in tutte le combinazioni testate, ottenendo un miglioramento medio di 12.8 punti di successo rispetto al miglior competitor esistente.
- La tecnica richiede zero task reward durante la fase di riparazione e addestramento del teacher, rendendola indipendente dalla definizione esplicita della ricompensa.
Perché conta. Questa ricerca è cruciale per gli sviluppatori che costruiscono agenti autonomi perché risolve un limite fondamentale nella distillazione on-policy, permettendo di addestrare studenti più capaci senza dipendere da segnali di reward espliciti o costosi durante la fase di riparazione del teacher.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.