nemotron-halloween
Pubblicata su AIChronos il · fonte del · Hugging Face blog
MonsterHouse è un'interazione proiettiva basata su NVIDIA Nemotron Voice Agent che integra capacità di ascolto, ragionamento, parlato e animazione in una singola workstation. Il sistema utilizza un pipeline a cascata composto da riconoscimento vocale (Nemotron Speech), logica conversazionale tramite LLM Bolt E4B con LoRA per la gestione dello stato del personaggio, e sintesi audio Magpie TTS Zeroshot. Per l'animazione visiva viene impiegato NVIDIA Audio2Face-3D all'interno di Unreal Engine 5, mentre le capacità percettive includono un VLM (Nemotron 3 Nano Omni) e modelli di rilevamento oggetti come YOLO con ByteTrack.
- Architettura distribuita su due GPU NVIDIA Blackwell: una per il pipeline linguaggio/voce (RTX PRO 6000 Max-Q) e una per grafica/animazione (RTX PRO 4000).
- Ottimizzazione delle prestazioni tramite streaming del testo generato per iniziare la sintesi vocale prima della completamento della frase, riducendo il latency medio a 0.72s.
- Personalizzazione del personaggio attraverso prompt di sistema e adapter LoRA addestrati con NVIDIA NeMo AutoModel senza necessità di training completo.
- Sintesi audio zero-shot tramite Magpie TTS Zeroshot che utilizza brevi campioni di riferimento invece di voci pre-addestrate.
- Modalità operative flessibili supportano sia interazioni in tempo reale (ASR/sintesi live) sia demo mode con risposte cached per ridurre il carico computazionale.
Perché conta. Questa soluzione è rilevante perché dimostra come implementare agenti AI locali complessi e animati su hardware consumer/professionale senza dipendere da API cloud, offrendo un modello di deployment scalabile (cloud/server/single-GPU) per applicazioni interattive in tempo reale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.