CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Pubblicata su AIChronos il · fonte del · Yingzhuo Deng, Chong Li, Bingxin Liu, Yi Shu, Tianyu Peng, Can Xie (Chinese Academic of Science Institute of Automation)
CoSTA è un framework post-hoc che decoppia gli spazi token per la generazione e la sintesi nei modelli di dialogo parlato (SDMs), superando i compromessi tra compressione e qualità. Il metodo estende lo spazio dei token di generazione con rappresentazioni compresse tramite espansione lessicale inizializzata al valore medio, adattamento fonetico e adattazione dialogica, prima di un'espansione deterministica verso lo spazio originale per la sintesi. Questo approccio permette di mantenere il tokenizer vocale e il decoder originali mentre riduce drasticamente le sequenze autoregressive durante l'inferenza.
- Decoppia gli spazi token mantenendo intatto il tokenizer vocale e il decoder del modello originale.
- Utilizza un'espansione lessicale inizializzata al valore medio per estendere lo spazio dei token di generazione con rappresentazioni compresse.
- Raggiunge circa 1,7 volte la velocità di generazione rispetto ai benchmark bilingui preservando la qualità della risposta.
- Migliora il throughput e riduce la latenza completa delle risposte senza introdurre costi elevati di sostituzione del tokenizer.
- Dimostra trasferibilità cross-architettura e complementarità con tecniche di tokenizzazione a basso bitrate.
Perché conta. Per gli sviluppatori che lavorano su LLM, agenti o AI locale, CoSTA offre un modo pratico per accelerare l'inferenza dei modelli vocali senza dover riaddestrare completamente il modello o sostituire componenti critici come il tokenizer vocale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.