Reuse, Don't Retrain: Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation
Pubblicata su AIChronos il · fonte del · Mario Hamon, Pierre Adorni, Minh-Tan Pham
Il paper propone la distillazione delle feature come metodo efficiente per riutilizzare le rappresentazioni dei modelli fondazionali geospaziali (GeoFMs), evitando costosi processi di pre-addestramento. Gli autori dimostrano che i modelli TerraMind e CROMA, una volta congelati, possono essere trasferiti in Vision Transformer più piccoli con guadagni significativi nella media IoU su nove task PANGAEA. Viene introdotto TEDI, un approccio multi-expert non appaiato che combina TerraMultispectral e DINOv3 per elaborare immagini multispettrali e RGB ad alta risoluzione senza bisogno di dati co-registrati. I risultati confermano che la distillazione sposta il fronte accuratezza-calcolo verso l'alto, consolidando esperti complementari in un'unica architettura versatile.
- La distillazione delle feature permette di riutilizzare rappresentazioni esistenti invece di reinventare i processi di pre-addestramento per diverse scale e modalità sensoriali.
- I modelli TerraMind Tiny, Small e Base ottenuti tramite distillation superano rispettivamente del 2.76%, 3.02% e 1.87% la media IoU dei loro corrispettivi rilasciati di pari scala.
- TEDI è un approccio multi-expert non appaiato che integra TerraMind per immagini multispettrali e DINOv3 per RGB, eliminando la necessità di dati co-registrati tramite embedding separati.
- Il modello TEDI-Large raggiunge il miglior punteggio medio singolo (62.51 mIoU) superando sia i teacher originali che consolidando le loro specifiche capacità modali.
- L'addestramento del TerraMind-Base richiede solo 43 ore GPU su A6000, pari allo 0.5% dei costi stimati per un pre-addestramento indipendente.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti AI locali, questo approccio riduce drasticamente i requisiti di hardware (inferenza locale) permettendo l'uso di modelli geospaziali avanzati senza costi proibitivi di pre-addestramento. Inoltre, la capacità di fondere esperti modali diversi in un'unica architettura tramite distillazione offre una via per creare agenti più versatili che gestiscono input eterogenei (es. immagini satellitari e RGB) con meno parametri.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.