Cross-Layer Refinement and Frequency-aware Fusion Network for Multi-Source Remote Sensing Image Classification
Pubblicata su AIChronos il · fonte del · Wenhan Xiao, Chuanzheng Gong, Feng Gao, Junyu Dong, Qian Du
Il documento propone CRFNet, un'architettura leggera a doppio ramo per la classificazione di immagini da telerilevamento multi-sorgente che integra informazioni spettrali e strutturali complementari. Il modello utilizza il modulo Cross-Layer Refinement Attention (CLRA) per propagare le dipendenze spaziali discriminative attraverso gli strati successivi, rafforzandole progressivamente mentre sopprime le risposte irrilevanti. Inoltre, un modulo Frequency-aware Complementary Fusion (FCF) combina interazioni frequenziali e attenzione incrociata modale nel dominio di Fourier, convertendo poi queste rappresentazioni in porte spaziali per modulare selettivamente i caratteri complementari.
- CRFNet è un'architettura leggera a doppio ramo progettata specificamente per gestire dati multi-sorgente da telerilevamento.
- Il modulo CLRA seleziona le relazioni di attenzione più rilevanti tra strati consecutivi per migliorare la discriminazione spaziale.
- Il modulo FCF opera nel dominio di Fourier, fondendo interazioni frequenziali con l'attenzione incrociata modale prima di trasformare i risultati in porte spaziali.
- Le valutazioni sui dataset Houston 2013 e Augsburg dimostrano che CRFNet supera consistentemente gli attuali metodi state-of-the-art.
- Il codice sorgente del modello è reso pubblico su GitHub per favorire la riproducibilità e l'ulteriore sviluppo della comunità.
Perché conta. Sebbene il paper si concentri sul telerilevamento, le tecniche di fusione incrociata modale nel dominio frequenziale (FCF) e i meccanismi di raffinamento cross-layer (CLRA) offrono spunti preziosi per ottimizzare l'integrazione di dati eterogenei in agenti AI locali o sistemi che devono fondere input provenienti da diverse fonti sensoriali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.