Conflicting History in Foundation Model Return Forecasts
Pubblicata su AIChronos il · fonte del · Levent Bulut
Lo studio esamina la tensione esistente quando le osservazioni storiche aiutano a imparare relazioni predittive ma diventano fuorvianti se queste cambiano. Attraverso cinque procedure di fondazione e tre processi simulati, è stato dimostrato che una storia conflittuale riduce la probabilità di migliorare rispetto allo zero in tutte le comparazioni ad alto segnale. Questa perdita di utilità persiste nonostante il recupero riuscito del segnale in condizioni stabili. I risultati evidenziano come la sensibilità al contesto non giustifichi automaticamente l'abbandono dei dati più vecchi.
- Le osservazioni storiche possono diventare fuorvianti quando le relazioni predittive sottostanti cambiano nel tempo.
- In tutti e tre i confronti ad alto segnale, la storia conflittuale riduce la probabilità di ottenere prestazioni superiori allo zero.
- Accorciare gli input da 256 a 64 ritorni aumenta l'errore assoluto medio per ogni modello analizzato.
- La capacità di estrarre un segnale è distinta dalla capacità di resistere alla storia conflittuale.
- Nessuna lunghezza dell'input migliora l'errore osservato complessivo rispetto allo zero.
Perché conta. Per chi sviluppa agenti o modelli locali, questo paper avverte che la semplice sensibilità al contesto non è sufficiente a giustificare il taglio dei dati storici in serie temporali volatili. È cruciale distinguere tra l'estrazione del segnale e la robustezza ai cambiamenti di distribuzione per evitare degradazioni delle prestazioni.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.