Reuse or Relearn? A Spectral View of Earth Observation Foundation Models
Aggiunta all'archivio di AIChronos il (numero del 26 settembre 2026 ricostruito)· fonte del · Mehmet Ozgur Turkoglu, Valerio Marsocci, Dominik J. Mühlematter, Dominik Senti, Konrad Schindler, Helge Aasen
Il documento esplora se i modelli fondazionali per l'osservazione della Terra (EO) riutilizzano le rappresentazioni pre-addestrate o devono re-impararle durante il fine-tuning. Attraverso diagnostica spettrale, si osserva che gli aggiornamenti dei pesi negli EO models sono più ampi e di rango superiore rispetto ai modelli su immagini naturali come CLIP o DINO. Di conseguenza, la struttura del modello pre-addestrato subisce modifiche sostanziali per ottenere le prestazioni downstream. L'analisi suggerisce di valutare i foundation models non solo in base all'accuratezza sui benchmark, ma anche sulla riutilizzabilità della loro rappresentazione pre-addestrata.
- Il fine-tuning negli scenari EO spesso comporta aggiornamenti dei pesi molto più grandi rispetto ai modelli generici su immagini naturali.
- La diagnostica spettrale quantifica la preservazione delle sottospazi singolari dominanti prima e dopo l'adattamento del modello.
- Dove le strutture pre-addestrate sono conservate, è possibile adattare solo una frazione dei parametri per raggiungere prestazioni paragonabili al fine-tuning completo.
- La valutazione della riutilizzabilità delle rappresentazioni pre-addestrate è fondamentale oltre alla semplice accuratezza sui benchmark.
- Gli EO models tendono a perdere gran parte della struttura originale del modello pre-addestrato durante l'adattamento.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, comprendere se un fine-tuning preserva la rappresentazione sottostante è cruciale per ottimizzare i costi computazionali dell'inference locale. Valutare la 'riutilizzabilità' di un modello aiuta a decidere tra strategie economiche come il LoRA o aggiornamenti completi dei pesi senza sacrificare le capacità originali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.