Hard to Fool: A Bounded LLM Research Loop for Quantitative Finance, and What Two Dozen Campaigns Found
Pubblicata su AIChronos il · fonte del · Henry Zhang
Il paper descrive 'Autonomous Quant Researcher', un loop di ricerca basato su agenti che inverte il paradigma standard dei backtest finanziari: invece di fidarsi ciecamente del modello per proporre miglioramenti, il codice è l'unico elemento fidato a validare le proposte. Il sistema utilizza store cronologici immutabili divisi in fasi di scoperta, validazione e holdout, con un registro hash-chained che registra ogni formulazione o rifiuto. L'accettazione di una strategia richiede il superamento di porte assolute multiple (edge positivo, P&L netto dopo costi, stabilità per anno) e non si basa su un singolo punteggio. Il risultato principale è la dimostrazione che i loop agentici possono produrre falsi scoperti se non vincolati rigorosamente, mentre questo approccio riduce drasticamente il rischio di overfitting e look-ahead bias.
- I loop agentici standard nel trading producono spesso falsi scoperti perché ottimizzano metriche su dati storici senza controlli rigorosi contro l'overfitting.
- Il sistema 'Autonomous Quant Researcher' impiega store immutabili cronologici con un holdout aperto esattamente una volta dopo aver scritto una ricevuta duratura.
- Le proposte del modello sono formulate come JSON dichiarativo stretto su un vocabolario fisso, evitando l'esecuzione di codice generato dal modello.
- L'accettazione di una strategia richiede il soddisfacimento simultaneo di più porte assolute (edge positivo, P&L netto, bootstrap lower bound, sopravvivenza a costi elevati).
- Due su molte campagne sopravvivono ai test pre-registrati, con un esempio chiaro di fallimento: una strategia con Sharpe vicino a 3 che crolla a 0.26 sul holdout.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti locali, questo paper evidenzia la necessità di separare nettamente il processo generativo del modello dalla logica decisionale critica, implementando controlli rigorosi come store immutabili e porte assolute per evitare che l'AI produca artefatti statistici costosi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.