Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
Pubblicata su AIChronos il · fonte del · Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan (LongCat)
Lo studio sfida l'ipotesi che gli errori di quantizzazione causino inevitabilmente perdite semantiche nei token visivi discreti. I risultati dimostrano che la dimensione effettiva del budget dei bit è il fattore determinante per le prestazioni, superando i limiti della saturazione delle codebook esistenti. Viene introdotta una nuova tecnica chiamata Factorized Vector Quantization (FVQ), che quantizza viste complementari di feature visive con codebooks paralleli simmetrici per migliorare l'efficienza a budget bit più elevati. Il modello addestrato su dati multimodali industriali raggiunge prestazioni state-of-the-art tra i modelli a rappresentazione discreta, competendo direttamente con architetture continue come Qwen3-VL.
- Gli errori di quantizzazione non sono affidabili indicatori della fedeltà semantica; rappresentazioni discrete con maggiori errori possono ottenere una migliore comprensione multimodale.
- La saturazione delle codebook esistenti limita l'informazione semantica aggiuntiva, problema risolto da Factorized Vector Quantization (FVQ).
- Il modello FVQ supera UniAR e Emu3-Chat rispettivamente del 22.8% e del 59.2% su una media di nove metriche.
- È il primo modello a rappresentazione discreta in grado di competere con modelli continui forti come Qwen3-VL, anche in compiti specifici come l'OCR fine-grained.
- I risultati supportano la fattibilità dei token visivi discreti per fondare grandi modelli multimodali nativi su scala industriale.
Perché conta. Per gli sviluppatori di LLM e agenti AI, questo paper offre una via concreta per ridurre drasticamente i costi di inferenza locale sostituendo le rappresentazioni continue (spesso costose in termini di memoria) con token discreti senza sacrificare la fedeltà semantica. La tecnica FVQ permette di costruire modelli multimodali efficienti che operano nativamente nello spazio discreto, allineandosi meglio agli obiettivi predittivi dei linguaggi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.