ASCoR: Asymmetric Semantic-Spatial Learning for Remote Sensing Domain Generalization
Pubblicata su AIChronos il · fonte del · Zitong Wang, Shuchang Lyu, Meng Li, Qiang Wang, Guangliang Cheng, Zhenwei Shi
ASCoR è un framework asimmetrico per il domain generalization nella segmentazione semantica da telerilevamento che si basa su SAM3. Il modello integra una branca condizionale dal testo per la guida categoriale e una branca densa specifica per il compito, entrambe addestrate solo con supervisione del dominio sorgente. Utilizza un adattatore dinamico LoRA distribuito sui blocchi dell'encoder per limitare la specializzazione sul dominio sorgente e un router di affidabilità leggero per correggere le previsioni basandosi sulla rilevanza spaziale locale.
- ASCoR supera lo stato dell'arte raggiungendo una mIoU media del 68.61% su sei trasferimenti ISPRS, superando il miglior metodo precedente di 2.69 punti percentuali.
- Il framework ottiene i migliori risultati su tutti e tre i benchmark LoveDA/OpenEarthMap per i trasferimenti tra aree rurali/urbane e OpenEarthMap.
- L'architettura bilancia la riconoscibilità delle categorie tramite prompt testuale con rappresentazioni spaziali multi-scala apprese da un encoder immagine congelato di SAM3.
- Il componente 'Probe-Once Dynamic Adaptive LoRA' gestisce il budget di adattamento fisso distribuendolo tra i blocchi dell'encoder per preservare la trasferibilità pre-addestrata.
Perché conta. Sebbene focalizzato sul telerilevamento, l'approccio asimmetrico che separa la guida semantica (testuale) dalla rappresentazione spaziale e limita lo specializzazione tramite LoRA dinamico offre principi trasferibili per migliorare il domain generalization in modelli LLM locali o agenti AI.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.