Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps
Pubblicata su AIChronos il · fonte del · Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio, Emmanuel Abbe (Apple)
Il paper propone un nuovo framework di reinforcement learning online per addestrare agenti di navigazione UI direttamente su app iOS live, superando i limiti dei modelli SFT che memorizzano traiettorie statiche. L'architettura decoupla l'agente in due componenti specializzate: un Planning agent e un modello UI Grounding, valutati tramite feedback densi step-by-step forniti da un sistema 'LLM-as-a-Judge'. Per ottimizzare questa struttura duale di reward, viene utilizzato Proximal Policy Optimization (PPO) con stima dell'avvantaggio a livello di passo. Viene inoltre introdotto GiGPPO, una tecnica per la stima del valore condizionata ai vicini che migliora la stabilità del critic sfruttando segnali di reward da stati visivamente simili in traiettorie concorrenti.
- L'approccio online RL evita il memorizzazione di traiettorie statiche tipica dei modelli SFT o offline, garantendo esecuzione più robusta e capacità di recupero dagli errori.
- Il framework utilizza una struttura duale di reward che combina feedback densi step-by-step per valutare i progressi intermedi con un terminal reward per la completazione del compito.
- GiGPPO migliora la stabilità dell'agente sfruttando segnali di reward da stati visivamente simili attraverso traiettorie concorrenti su centinaia di dispositivi virtuali iOS.
- Gli agenti RL da 8B mostrano quasi un miglioramento settuplico rispetto alle baseline SFT nella generalizzazione out-of-distribution verso ambienti Android, superando Gemini-3.5-Flash.
- L'infrastruttura proposta orchestra efficientemente l'esecuzione su centinaia di dispositivi iOS virtuali concorrenti per supportare il training online a scala.
Perché conta. Per gli sviluppatori che lavorano con agenti e AI locale, questo approccio riduce drasticamente i costi di inference rispetto ai frontier vision-language models mantenendo alte prestazioni nella navigazione UI dinamica. Offre una via concreta per implementare sistemi autonomi su dispositivi reali (come iOS) senza dipendere da modelli cloud costosi o traiettorie pre-addestrate fragili.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.