Cooperative Multi-Agent Reinforcement Learning for Market Making on Prediction-Market Order Books
Pubblicata su AIChronos il · fonte del · Skander Lejmi
Lo studio esplora l'applicazione del Cooperative Multi-Agent Reinforcement Learning (MARL) per il market making su mercati predittivi come Polymarket, affrontando sfide specifiche quali la selezione avversa e i ritardi nell'arrivare delle conseguenze degli ordini. Gli autori ricostruiscono dati a livello di ordine in formato LOBSTER e addestrano agenti utilizzando JaxMARL-HFT con una decomposizione cooperativa tra un 'quoter' e un 'risk manager'. Vengono proposte tecniche avanzate come il Recurrent Independent Proximal Policy Optimisation (IPPO) con politiche RNN, insieme a strategie di shaping delle ricompense per mitigare i problemi di assegnazione del credito. Sebbene la configurazione ottimale non garantisca valori portafoglio positivi in tutte le valutazioni out-of-sample, l'architettura gettizza le basi per gestire molti mercati collegati simultaneamente.
- Ricostruzione dei dati a livello di ordine da Polymarket nel formato LOBSTER per abilitare simulazioni accurate.
- Implementazione di una decomposizione cooperativa in due agenti: un 'quoter' e un 'risk manager'.
- Utilizzo del Recurrent Independent Proximal Policy Optimisation (IPPO) con politiche basate su RNN.
- Introduzione dello shaping delle ricompense, incluso il blending e la post-fill markout, per migliorare l'apprendimento.
- Riprogettazione dello spazio osservazionale includendo book depth e flussi recenti.
Perché conta. Questa ricerca è rilevante per gli sviluppatori di agenti AI perché illustra come strutturare sistemi multi-agente complessi con separazione chiara tra gestione del rischio ed esecuzione, un pattern utile anche per applicazioni locali o basate su LLM che devono operare in ambienti dinamici e incerti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.