microsoft/VibeVoice
Pubblicata su AIChronos il · fonte del · microsoft
VibeVoice è un framework open-source di frontiera per l'AI vocale sviluppato da Microsoft che integra modelli Text-to-Speech (TTS) e Automatic Speech Recognition (ASR). Il sistema utilizza tokenizer continui a 7.5 Hz e un approccio next-token diffusion basato su LLM per garantire alta fedeltà acustica ed efficienza computazionale in sequenze lunghe fino a 90 minuti. Supporta nativamente oltre 50 lingue, include un motore di inferenza CPU edge (VibeVoice-ASR-BitNet) con quantizzazione eterogenea e gestisce dialoghi multi-parlante con tracking coerente dei speaker.
- Gestione audio continuo fino a 60 minuti in una singola passata per l'ASR, mantenendo il tracciamento dello speaker su tutta la durata.
- Generazione di trascrizioni strutturate che includono identificatore del parlante (Who), timestamp (When) e contenuto testuale (What).
- Supporto nativo a oltre 50 lingue con capacità multilingue per inglese, cinese e altre lingue specifiche.
- Modello streaming leggero da 0.5B parametri in grado di generare parlato lungo fino a circa 10 minuti in tempo reale.
- Inferenza su CPU edge tramite VibeVoice-ASR-BitNet senza necessità di GPU grazie alla quantizzazione eterogenea.
Perché conta. È rilevante per sviluppatori che lavorano con LLM e agenti locali perché offre un motore ASR/TTS ottimizzato per l'inferenza su hardware edge, riducendo la dipendenza da cloud costosi. La capacità di gestire conversazioni lunghe e multi-parlante abilita scenari avanzati come assistenti vocali autonomi o sistemi di trascrizione in tempo reale direttamente sul dispositivo.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.