Think Less, Locally: Local Preference Learning for Reasoning Compression
Pubblicata su AIChronos il · fonte del · Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, Jinchao Zhang
LoCo è un metodo di apprendimento delle preferenze locali progettato per comprimere le catene di pensiero nei modelli di ragionamento riducendo i costi inferenziali. Il sistema rileva gli stati in cui il modello 'sovraragiona', congela i prefissi corrispondenti e rigenera continuazioni verificate più brevi utilizzando DPO su coppie condizionate dallo stato. A differenza dei metodi esistenti che operano sui percorsi globali, LoCo insegne al modello quando continuare a ragionare e quando concludere basandosi sullo stato corrente. L'approccio utilizza dati generati autonomamente da tracce matematiche per dimostrare una compressione significativa della lunghezza delle risposte mantenendo o migliorando l'accuratezza.
- Rilevamento degli stati di 'overthinking' dalle tracce interne del modello senza intervento umano esterno.
- Utilizzo del Direct Preference Optimization (DPO) su coppie condizionate dallo stato per addestrare il modello a fermarsi opportunamente.
- Riduzione della lunghezza delle completioni fino al 45,4% sui benchmark matematici e dal 23,4% su quelli di codice.
- Mantenimento o miglioramento dell'accuratezza nonostante la drastica riduzione del numero di token generati.
- Generalità cross-domain: trasferimento efficace dall'addestramento puramente matematico alla generazione di codice.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, LoCo offre un modo per ottimizzare i costi inferenziali riducendo il tempo di risposta senza sacrificare la qualità delle soluzioni. È particolarmente rilevante per l'AI locale dove ogni token risparmiato si traduce direttamente in minori risorse computazionali richieste.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.