NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt
Pubblicata su AIChronos il · fonte del · Hugging Face blog
NVIDIA Nemotron 3.5 Transcribe è un modello open-weight che integra trascrizione multilingue (fino a 40 lingue), diarizzazione e traduzione in un unico checkpoint ottimizzato per registrazioni fino a un'ora. Il modello si distingue su benchmark aperti con una Word Error Rate del 5,33% per l'inglese e supporta la gestione di domini specifici come quello medico tramite fine-tuning guidato da prompt o NeMo Speech tools. Granary v2 fornisce un pipeline dati riutilizzabile che prepara dataset multilingue allineati su 48 lingue, includendo varianti di trascrizione normalizzata e non per migliorare l'accuratezza.
- Il modello integra diarizzazione nativa tramite Sortformer cues direttamente nel linguaggio del modello, riducendo la dipendenza dal post-processing.
- Granary v2 espande il dataset pubblico a oltre 463.000 ore di audio da 16 corpora, offrendo tre formati di trascrizione per ogni registrazione.
- Il fine-tuning combinato con LoRA e addestramento delle proiezioni dell'encoder riduce la WER sui benchmark medici fino al 12,17% su speaker non visti.
- L'inferenza ad alta throughput permette l'elaborazione di 100 ore di audio in meno di tre minuti utilizzando GPU NVIDIA RTX PRO Blackwell con quantizzazione NVFP4.
- Gli sviluppatori possono adattarsi a vocabolari specifici (es. termini medici) specificando script e formati nei prompt o tramite pipeline di curatela personalizzate.
Perché conta. Questa soluzione è cruciale per gli sviluppatori che costruiscono agenti AI locali poiché offre un modello 'plug-and-play' capace di gestire audio complessi senza dipendere da servizi cloud, riducendo i costi e migliorando la privacy. La capacità di adattare il modello tramite prompt o fine-tuning leggero permette di integrare domini verticali specifici direttamente nell'inferenza locale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.