Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes
Pubblicata su AIChronos il · fonte del · Wendi Sang, Kai Li, Yifan Li, Jianqiang Huang, Xiaolin Hu (Tsinghua Machine Learning Group)
Il documento introduce RealSSA, un nuovo benchmark per l'estrazione del parlante target audio-visivo (AVTSE) che simula scenari reali con interferenze da vicino e lontano. Per colmare il divario tra prestazioni ed efficienza sui dispositivi edge, viene proposto Falcon, una architettura causale leggera ad alta velocità di inferenza. Il metodo utilizza un separatore multi-scala in tempo-frequenza e uno spazio encoder per la perdita contrastiva del parlante, eliminando le perdite da interferenze vicine senza costi aggiuntivi all'inferenza.
- RealSSA offre scenari simulati controllabili con fino a 15 speaker interferenti e un set di valutazione reale tenuto fuori.
- Falcon riduce i parametri del 91,9% rispetto al baseline causale AV-TFGridNet mantenendo lo stato dell'arte nelle prestazioni.
- L'inferenza su GPU è accelerata di circa 11 volte grazie all'architettura ottimizzata per il deployment edge.
- La perdita contrastiva nello spazio encoder sopprime la fuoriuscita da speaker vicini a costo zero durante l'inferenza.
- Il sistema integra separazione multi-scala in tempo-frequenza in un singolo passaggio encoder-decoder.
Perché conta. Questa ricerca è rilevante per chi sviluppa agenti AI e sistemi locali perché dimostra come ottenere prestazioni di estrazione vocale robuste su hardware edge senza sacrificare la latenza, una sfida critica per applicazioni streaming sensibili al tempo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.