Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
Pubblicata su AIChronos il · fonte del · Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng (ByteDance Seed)
Cola2 è un framework che separa il modellamento semantico continuo dalla realizzazione testuale discreta per migliorare la generazione gerarchica. Il modello utilizza una segmentazione dinamica del testo in span semantici e controlla il tasso di compressione tramite feedback negativo privo di perdita ausiliaria. Durante l'inferenza, mantiene la coerenza della storia latente ri-codificando il testo generato sotto un layout degli span fisso.
- Unifica lo studio della compressione semantica continua e del bilanciamento tra ricostruzione e generazione tramite supervisione combinata.
- Utilizza un decoder a diffusione causale bloccato (block-causal masked diffusion) addestrato con condizioni latenti pulite, rumorose e perse.
- Applica la guida senza classificatore per regolare il bilanciamento semantico autonomo durante l'adattamento continuo-discreto.
- Decoppia l'apprendimento del prior Flow Matching dall'apprendimento della rappresentazione tramite stop-gradient.
Perché conta. Offre un approccio scalabile per migliorare la qualità dei modelli LLM locali riducendo il consumo di token mantenendo prestazioni competitive. Permette agli sviluppatori di gestire meglio l'adattamento tra spazi latenti continui e output discreti, cruciale per agenti AI complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.