DS-BiCA-Net: Pair-Preserving Cross-Temporal Modeling for Remote Sensing Change Captioning
Pubblicata su AIChronos il · fonte del · Licheng Zhang, Naveed Akhtar, Siew-Kei Lam
DS-BiCA-Net è un modello per la captioning dei cambiamenti in immagini di telerilevamento (RSICC) che risolve le limitazioni delle metodologie precedenti mantenendo separate le due immagini temporali durante l'encoding. L'architettura utilizza moduli distinti per il processing intra-immagine e cross-temporale, permettendo una misurazione indipendente del contributo di ciascun componente. Un modulo bidirezionale a attenzione incrociata confronta le immagini lungo percorsi diretti condivisi, superando i limiti dei metodi che ignorano la direzione temporale specifica.
- Mantiene due flussi separati per le immagini durante l'encoder invece di fondere precocemente il pair.
- Utilizza un modulo windowed state-space per modellare il contesto intra-immagine e un bidirectional cross-attention module per la comparazione temporale.
- Gli esperimenti dimostrano che il refinement intra-immagine è utile solo se seguito dal cross-attention, superando l'ordine inverso a parità di parametri.
- Raggiunge uno S_m^* del 82.65 su LEVIR-CC e un 66.72 su Dubai-CC senza augmentation geometrica.
- Permette la rimozione selettiva dei moduli per valutare empiricamente l'importanza di ogni direzione temporale.
Perché conta. Questa architettura è rilevante per gli sviluppatori che lavorano con LLM e agenti perché illustra come progettare pipeline modulari dove il processing cross-temporale (simile all'allineamento tra prompt o contesto storico) può essere ottimizzato separatamente dal refinement locale, migliorando l'efficienza computazionale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.