Hierarchical Continuous Diffusion Language Models
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Hui Ren, Zihan Li, Chang Liu, Huidong Liu, Alexander Schwing (University of Illinois at Urbana-Champaign)
Il documento introduce Hierarchical Continuous Diffusion Language Models (HC-DLM), un approccio che accoppia la generazione di token discreti con una traiettoria latente continua in un unico processo di denoising. A differenza dei metodi precedenti, HC-DLM utilizza il stato latente come unica entità persistente generativa dai cui vengono letti i token a ogni passo per fornire uno scaffold all'aggiornamento successivo. L'obiettivo di addestramento deriva da una bound variazionale sulla likelihood del token e supera le baseline discrete e continue su task strutturati (Sudoku, Countdown) e modellazione linguistica (LM1B).
- HC-DLM risolve il collo di bottiglia statistico dei modelli a diffusione discreta parallelizzando la decodifica mantenendo le dipendenze tra token.
- Il modello evita l'uso di un contesto continuo separato, integrando invece lo stato latente come unico generatore persistente per tutti i passaggi.
- L'architettura migliora sia l'accuratezza nei puzzle strutturati (Sudoku, Countdown) che il perplexity nella modellazione linguistica rispetto alle baseline esistenti.
- La proposta unifica la generazione discreta e continua in un processo di denoising principiato derivato da una bound variazionale.
Perché conta. Per gli sviluppatori di LLM, agenti AI e sistemi locali, HC-DLM offre un'alternativa robusta alla generazione autoregressiva per compiti che richiedono ragionamento bidirezionale e soddisfazione globale dei vincoli. Questo approccio potrebbe ridurre i costi computazionali dell'inference mantenendo alte prestazioni in scenari complessi dove le dipendenze tra token sono critiche.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.