Concetto · 3 novità
Hidden states
Pagina pubblicata il · ultima novità il
Cronologia
- DLite: History-free Speculative Decoding for Agentic AIPer gli sviluppatori che lavorano con agenti AI e modelli locali, DLite offre un modo pratico per accelerare l'inference senza essere penalizzati dalla gestione di contesti in continua espansione. Questo approccio risolve il collo di bottiglia del cache KV storico, rendendo fattibile lo speculative decoding anche in scenari complessi tipici degli agentic workloads.
- Latent-MOPD: Latent Multi-Teacher On-Policy DistillationPer gli sviluppatori di agenti AI locali o sistemi distribuiti, Latent-MOPD offre un modo efficiente per combinare le capacità di diversi modelli specialisti in un unico studente senza costi computazionali aggiuntivi per il fine-tuning degli insegnanti.
- The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy DistillationPer gli sviluppatori di LLM e agenti, RIDE offre un modo robusto per migliorare modelli locali tramite distillazione senza subire il degrado tipico degli approcci basati su output-space quando l'insegnante è già ottimizzato. Consente di sfruttare i guadagni del RL direttamente nella rappresentazione interna, migliorando la generalizzazione dello studente oltre le capacità dell'originale.