Concetto · 2 novità
Reverse KL Divergence
Pagina pubblicata il · ultima novità il
Cronologia
- Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision ReliabilityPer gli sviluppatori che lavorano con LLM e agenti, questo paper è cruciale per ottimizzare strategie di distillazione in scenari reali dove teacher e student utilizzano tokenizzatori diversi (es. modelli open-source vs commerciali), evitando degradazioni delle prestazioni dovute a segnali di training rumorosi.
- On-Policy or Off-Policy Learning? A Systematic Study of Distillation DynamicsPer gli sviluppatori che lavorano con LLM e agenti locali, questo paper sfata l'idea dogmatica secondo cui i rollouts on-policy siano sempre preferibili, suggerendo invece di ottimizzare attentamente il learning rate e scegliere tra forward/reverse KL in base alla stabilità desiderata del modello.