CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
Pubblicata su AIChronos il · fonte del · Yijia Fan, Xilin He, Yilei Jiang, Dongming Wu, Jiaxu Wang, Xiangyu Yue (Chinese University of Hong Kong)
CaPtain è un pipeline open-source per il post-training di agenti robotici basati su Code-as-Policy (CaP), che trasforma piccoli modelli VLM aperti in agenti capaci senza richiedere modelli frontier o VLAs pre-addestrati. Il metodo allinea prima il modello base tramite SFT su traiettorie sintetiche generate da GPT-6 Astra e applica poi un multi-turn reinforcement learning supportato da un critico fisico che utilizza lo stato privilegiato del simulatore per assegnare crediti alle richieste dell'agente. Questo approccio supera diversi modelli frontier in benchmark come LIBERO-PRO e CaP-Bench, dimostrando robustezza anche su hardware reale dopo adattamento solo tramite simulazione.
- CaPtain converte piccoli VLM aperti (es. Qwen3.5-4B) in agenti robotici autonomi senza dipendere da modelli chiusi o VLAs pre-addestrati.
- L'uso di un critico fisico che legge lo stato del simulatore permette al multi-turn RL di gestire credit assignment ritardato negli effetti fisici.
- Il modello raggiunge il 73.8% di successo su LIBERO dopo RL, superando modelli frontier e mantenendo le performance sotto perturbazioni.
- L'addestramento avviene interamente in simulazione con GPT-6 Astra, permettendo deployment diretto su robot reali senza training nel dominio target.
- Tutto il codice, i dati e i pesi del modello sono rilasciati pubblicamente per favorire la riproducibilità.
Perché conta. È rilevante perché dimostra come sviluppare agenti autonomi robusti partendo da modelli open-source leggeri (es. Qwen3.5-4B) senza costi di inferenza elevati o dipendenza da API proprietarie, rendendoli adatti a scenari locali e edge computing.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.