From Sound to Sense: An Anatomy of Semantic Supervision for Speech-Driven Visual Grounding in Remote Sensing Imagery
Aggiunta all'archivio di AIChronos il (numero del 12 ottobre 2026 ricostruito)· fonte del · Zhongyu Pang
Il paper 'From Sound to Sense' analizza il paradigma diretto-audio per l'allineamento visivo guidato dal parlato (Speech-driven visual grounding) nell'imagerie da telerilevamento. L'autore utilizza un host di ancoraggio VLTVG con una pathway audio congelata di Whisper, condividendo così decoder tra testo e voce su dati sintetizzati. Attraverso sonde semantiche lineari, lo studio dissetta tre canali di iniezione semantica: distillazione per mimetismo delle feature, supervisione CTC a livello di parola e pre-addestramento ASR due fasi. I risultati dimostrano che il vantaggio dell'allineamento diretto rispetto alle cascate ASR dipende criticamente dalla qualità del riconoscitore audio.
- Il paradigma diretto-audio bypassa l'ASR per preservare le intenzioni prosodiche, ma la sua efficacia è vincolata alla robustezza del riconoscitore sottostante.
- Contro un cascata ASR debole (CTC 0.53), il modello diretto supera di 9 punti percentuali in [email protected] concentrandosi sugli errori nelle parole spaziali-relazionali.
- Un cascata ASR forte e ben addestrato raggiunge l'upper bound del testo, superando i modelli diretti più potenti con un margine di 8.8 punti.
- Vengono rilasciati due dataset: Audio-DIOR-R (con sintesi Qwen3-TTS e rumore sox) e Audio-DIOR-Comp per testare protocolli acustico-semantici specifici.
- L'ipotesi anti-ASR è valida solo quando si utilizza un riconoscitore audio debole, mentre con modelli robusti la via tradizionale prevale.
Perché conta. Per gli sviluppatori di agenti e sistemi AI locali che integrano input vocali in compiti visivi, questo lavoro evidenzia il trade-off fondamentale tra latenza/bypass dell'ASR e affidabilità semantica. Comprendere quando l'allineamento diretto è vantaggioso rispetto a un ASR pre-addestrato robusto è cruciale per progettare sistemi di acquisizione target hands-free in missioni time-critical senza degradazioni prestazionali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.