Post-Training Leaves Behavioral Shadows on Unrelated Decisions
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Ziyang Zhang, Yubin Jing, Yuanhao Zeng, Yuyao Li, Haofan Wang, Yichen Gong (Peking University)
Lo studio dimostra che i modelli linguistici possono trasferire capacità attraverso testi non correlati al compito specifico durante il post-training. Gli autori introducono Active Taskless Distillation (ATD), una tecnica che realizza questo trasferimento utilizzando solo un singolo parola del modello insegnante per ogni prompt, senza bisogno di esempi target o parametri dell'insegnante. Il metodo indaga le 'behavioral shadows' selezionando prompt dove l'antenato pubblico condiviso tra insegnante e studente è quasi indifferente tra due parole ordinarie. Gli esperimenti su Qwen2.5-1.5B confermano che questo fenomeno si estende a conoscenze scientifiche, ragionamento comune e comprensione della lettura.
- Il post-training lascia tracce comportamentali ('behavioral shadows') trasferibili tramite testo non correlato al compito.
- Active Taskless Distillation (ATD) permette il trasferimento di capacità usando solo una parola dell'insegnante per prompt.
- Lo studente apprende esclusivamente dalle coppie prompt-parola risultanti, senza accesso a logiti o parametri del teacher.
- Il fenomeno è osservabile in diverse generazioni, dimensioni e famiglie di modelli oltre Qwen2.5-1.5B.
- La forza dell'apprendimento laterale segue la forza dell'aggiornamento apportato dal modello insegnante.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti e AI locale è cruciale comprendere come le capacità apprese in un contesto possano influenzare decisioni o output non correlati senza esplicito fine-tuning. Questa ricerca evidenzia rischi di trasferimento indesiderato (shadowing) ma offre anche una via per distillazione efficiente tramite ATD.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.