LEV: Thinking Fast and Deep with Looped Decision Models
Pubblicata su AIChronos il · fonte del · Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun
LEV è un nuovo modello decisionale che supera i limiti dei sistemi tradizionali combinando la velocità del 'System 1' con la capacità di ragionamento profondo. A differenza delle architetture standard che generano token per ogni passo, LEV rielabora le sue strati in cicli (loop) senza produzione testuale esplicita, permettendo una profondità variabile a costo computazionale controllato. Il modello utilizza un piccolo 'stopper' addestrato su richieste non etichettate per determinare dinamicamente la profondità necessaria per ogni domanda specifica. Questo approccio consente di ottenere significativi guadagni di accuratezza sui casi difficili mantenendo latenze inferiori ai 50 ms.
- LEV rielabora i propri strati in un loop invece di generare token, eliminando il costo computazionale per ogni passo aggiuntivo del ragionamento.
- La profondità del modello è dinamica e si adatta a caso per caso tramite uno 'stopper' che imposta una soglia basata su richieste non etichettate.
- Sul benchmark JevBench, un istanza da 2.6B passa dal 63.2% al 76.2% di accuratezza aumentando la profondità fino a quattro cicli.
- Il metodo riduce il consumo computazionale del 15-24% rispetto ai modelli fissi o alle cascate, con una perdita di accurateza inferiore all'1 punto percentuale.
- LEV supera i modelli densi (non-looped) e le loro varianti a cascata su set di test bloccati, garantendo latenze inferiori a 50 ms.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti autonomi, LEV offre un modo efficiente per implementare ragionamento profondo senza i costi esponenziali della generazione di token. La capacità di adattare la profondità in tempo reale permette di bilanciare perfettamente accuratezza e latenza su hardware limitato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.