Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
Pubblicata su AIChronos il · fonte del · Kam Man Wu, Yu Zhang, Pengjun Fang, Mingfei Chen, Weijia Chen, Zeyue Tian (NoizAI)
Il framework AMBIT unifica la generazione e l'editing di audio spaziale nativo in First-Order Ambisonics (FOA) coordinando le decisioni sulla sorgente con la sintesi del campo sonoro. Utilizza una backbone condivisa 'Transfusion' che accoppia il planning autoregressivo tramite ScenePlans esecutabili con il rendering rectified-flow, integrando dettagli acustici da audio di riferimento per l'editing. Un VAE continuo consapevole dell'FOA preserva la struttura inter-canale e i contenuti attraverso una decodifica omnidirezionale condivisa e un matching della covarianza spaziale. Infine, lo self-distilling Transfusion on-policy (OPSD) raffina il planning su prefix generati dallo studente sotto supervisione di teacher condizionate al target.
- AMBIT integra autoregressive planning con rectified-flow rendering tramite ScenePlans che specificano contenuto sorgente e traiettorie 3D.
- L'editing è gestito descrivendo la scena target completa, inclusi le fonti da mantenere, utilizzando contrastive features per ancorare i cambiamenti richiesti.
- Un VAE continuo FOA-aware combina decodifica omnidirezionale condivisa, asymmetric grouped KL e spatial covariance matching per preservare fedeltà acustica.
- Il meccanismo di self-distillation OPSD affina il planning su prefix generati dallo studente con supervisione da teacher condizionate al target.
- Le valutazioni dimostrano miglioramenti nella qualità spaziale, fedeltà acustica durante l'editing guidato e preservazione delle fonti non modificate.
Perché conta. Rappresenta un passo avanti verso agenti AI capaci di generare contenuti multimediali complessi (audio spaziale) direttamente in formato nativo senza conversioni lossy. La tecnica di self-distilling offre un paradigma per migliorare l'efficienza del planning e del rendering, rilevante anche per lo sviluppo di modelli locali o sistemi autonomi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.