Multi-Token Prediction Done Right
Pubblicata su AIChronos il · fonte del · Jayden Teoh (Massachusetts Institute of Technology)
Il paper 'Multi-Token Prediction Done Right' identifica un difetto nell'addestramento standard della Multi-Token Prediction (MTP), dove un componente residuo del gradiente interferisce con l'apprendimento sia dei token successivi che multi-token. Gli autori introducono il 'KL gradient-recovery trick', una tecnica basata sul routing diretto dei gradienti che permette di recuperare esattamente il segnale utile di distillazione KL eliminando il rumore residuo. Questo approccio, denominato Soft-MTP, richiede solo un cambio nel codice e riutilizza le computazioni esistenti senza aggiungere parametri o sovraccarichi misurabili.
- Il gradiente cross-entropy standard della MTP contiene un termine residuo a basso rapporto segnale-rumore che ostacola l'ottimizzazione.
- La tecnica 'KL gradient-recovery trick' permette di isolare e propagare solo il segnale di distillazione KL tramite routing dei gradienti straight-through.
- Soft-MTP è compatibile con le architetture DeepSeek- e Meta-style, supportando sia la pre-training che il fine-tuning senza overhead computazionale.
- L'applicazione di Soft-MTP migliora il perplexity del token successivo (NTP), accelera lo speculative decoding e aumenta l'accuratezza zero-shot su tutti i modelli testati da 167M a 1.2B parametri.
- Il metodo supera o eguaglia la minimizzazione diretta della divergenza KL sulla maggior parte delle metriche, offrendo un 'free lunch' per l'ottimizzazione MTP.
Perché conta. Per gli sviluppatori di LLM e agenti AI locali, Soft-MTP rappresenta una soluzione immediata per potenziare le capacità inferenziali senza costi aggiuntivi in termini di memoria o tempo di addestramento. Ottimizzare il processo di pre-training con questa tecnica permette di ottenere modelli più efficienti nello speculative decoding e ragionamenti matematico/codificati superiori, cruciali per applicazioni autonome.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.