Asymmetric On-Policy Distillation Learns In-Context Exploration
Pubblicata su AIChronos il · fonte del · Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi
Il lavoro introduce ASTEROID, un framework di apprendimento supervisionato studente-insegnante che permette a uno studente condizionato alla storia di imparare l'esplorazione al momento del test (test-time exploration). A differenza dell'apprendimento per rinforzo online inefficiente o della distillazione offline media, questo metodo utilizza contesti on-policy raccolti dallo studente e etichette d'azione condizionate da un esperto privilegiato. L'approccio risolve sistematicamente l'incompletezza osservativa permettendo all'agente di cercare quando incerto ed sfruttare una volta rivelato lo stato nascosto.
- ASTEROID supera le inefficienze del reinforcement learning online e i limiti della distillazione offline media nello spazio degli stati nascosti.
- Il framework raggiunge rendimenti circa il doppio superiori rispetto ai budget di esplorazione fissi in undici ambienti diversi, inclusi benchmark discreti e manipolazione robotica.
- Richiede circa 100 volte meno interazioni rispetto alle basi reinforcement learning per raggiungere prestazioni competitive con modelli frontier nell'esplorazione.
- La politica addestrata in simulazione si trasferisce efficacemente alla manipolazione di robot reali privi di visione, aumentando il successo del compito del +40%.
- Permette l'acquisizione efficiente di comportamenti informativi senza i costi impraticabili dei dati di training tipici dell'apprendimento per rinforzo.
Perché conta. È rilevante per sviluppatori che lavorano con LLM e agenti locali perché offre un meccanismo semplice ed efficace per indurre capacità esplorative dinamiche (in-context exploration) senza richiedere grandi dataset o costi computazionali proibitivi, migliorando l'adattabilità degli agenti in scenari a osservazione parziale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.