Certifying Reward Alignment in Portfolio Reinforcement Learning
Pubblicata su AIChronos il · fonte del · Matin Tavakoli, Seyedreza Tavakoli, Faezeh Salmani, Amir Amini, Mohammad Hosein Rohban, Gholamali Aminian
Il paper introduce un 'decision audit' per verificare l'allineamento del reward in sistemi di Reinforcement Learning (RL) applicati alla finanza. L'autore separa la misspecificazione della ricompensa dagli errori di apprendimento, utilizzando residui dell'attore e del critico per limitare il guadagno derivante dal cambiamento delle azioni. Il metodo proposto funziona anche con vincoli convessi sulle azioni ed estende l'analisi a campioni indipendenti senza richiedere una politica di equilibrio predefinita.
- Sviluppo di un audit decisionale che certifica se la policy appresa implementa effettivamente l'obiettivo finanziario dichiarato, distinguendolo dagli errori di apprendimento.
- In mercati con stati esogeni finiti, il guadagno ottenuto modificando una singola azione è limitato tramite residui dell'attore, del reward e della continuation-critic.
- Il certificato ignora gli offset costanti nel critico rispetto allo stato ed include un'estensione a campioni indipendenti che non necessita della politica di equilibrio.
- Test su nove mercati controllati mostrano una riduzione significativa nella distanza tra policy e nello scarto di guadagno in un passo rispetto a reti miopiche con reward abbinato.
- Le analisi storiche su portafogli USA confermano che la calibrazione congiunta del reward preserva i target mean-variance, sebbene non migliori necessariamente le performance reali.
Perché conta. Per uno sviluppatore di agenti AI o sistemi locali, questo approccio offre un framework per certificare l'allineamento tra gli obiettivi dichiarati (reward) e il comportamento effettivo dell'agente, riducendo il rischio che modelli sofisticati ottimizzino metriche errate senza raggiungere lo scopo reale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.