Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting
Pubblicata su AIChronos il · fonte del · Aliullah, Julian Oelhaf, Edouard Fouché, Jessica Deuschel, Christian Bergler, Andreas Maier
Questo studio confronta l'inferenza pre-addestrata, il fine-tuning completo e la Low-Rank Adaptation (LoRA) per migliorare le previsioni del carico elettrico utilizzando modelli fondazionali di serie temporali. I risultati dimostrano che i modelli fondazionali superano le baseline tradizionali come XGBoost su diversi livelli di aggregazione, con LoRA rank-16 che riduce l'errore medio assoluto normalizzato (NMAE) dell'8% in media aggiornando solo il 3% dei parametri del modello MOIRAI. L'adattamento offre guadagni significativi soprattutto nelle serie locali e negli edifici specifici, confermando la validità di tecniche efficienti anche su modelli come Chronos-2.
- I Time Series Foundation Models (TSFMs) offrono backbones riutilizzabili che superano le baseline stagionali naive e XGBoost in scenari sia distribuiti internamente che fuori distribuzione.
- Sul modello MOIRAI, l'uso di LoRA con rank 16 riduce il NMAE del 7.5% in media aggiornando circa 3 milioni di parametri (circa il 1% del totale), preservando gran parte dei benefici del fine-tuning completo.
- Il trasferimento delle prestazioni tra famiglie di modelli è variabile, poiché Chronos-2 mostra un errore pre-addestrato inferiore ma beneficia meno dell'adattamento rispetto a MOIRAI.
- I guadagni più evidenti dall'adattamento si osservano nelle serie temporali locali e in specifici edifici, suggerendo che l'efficienza è cruciale per applicazioni target-specifiche costose da sviluppare ex-novo.
- LoRA rappresenta un compromesso favorevole tra accuratezza ed efficienza quando fornisce miglioramenti significativi rispetto a checkpoint pre-addestrati forti.
Perché conta. Per uno sviluppatore che lavora con AI locale e agenti, questo paper evidenzia come tecniche di adattamento efficiente come LoRA permettano di personalizzare modelli fondazionali pesanti su domini specifici (es. previsioni energetiche) senza i costi computazionali proibitivi del fine-tuning completo o la necessità di riaddestrare da zero.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.