SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
Pubblicata su AIChronos il · fonte del · Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E (HKUSTGZ)
SLA è un Spatial-Language-Action Model progettato per migliorare l'alignamento spaziale implicito nei modelli VLA attraverso il continual pre-training. Il modello ottimizza congiuntamente la previsione delle azioni e l'allineamento tra embedding visivi intermedi e rappresentazioni spaziali provenienti da un modello di percezione 3D congelato, partendo da una policy pi05 pretraineda. Per gestire dati eterogenei derivanti da diverse robotica, scene e compiti, SLA introduce feature-dependent gates che aggregano adattivamente gli embedding visivi dai vari strati VLA per la supervisione spaziale. Inoltre, lo sfruttamento di annotazioni geometriche parziali (profondità e calibrazione) unito a tecniche come il probabilistic state dropout permette un apprendimento robusto senza alterare l'architettura di inference originale.
- SLA scala l'allineamento spaziale incorporandolo direttamente nel continual pre-training invece che solo durante l'adattamento task-specifico.
- L'utilizzo di feature-dependent gates permette un adattamento dinamico degli embedding visivi per gestire la diversità delle esperienze robotiche.
- Il modello integra annotazioni geometriche eterogenee, inclusi dati parziali su profondità e calibrazione della telecamera, insieme alle osservazioni RGB.
- La tecnica del probabilistic state dropout favorisce l'affidamento sui cue visivi riducendo il rischio di overfitting sulle traiettorie dimostrative.
- Tutti i componenti ausiliari sono attivi solo durante la formazione, consentendo il riutilizzo diretto dei pesi VLA pretrainedi e preservando l'architettura originale.
Perché conta. Per gli sviluppatori di agenti autonomi, SLA offre un framework per integrare una comprensione spaziale robusta nei LLM locali senza richiedere modifiche strutturali all'inference. È rilevante per chi lavora su robotica locale poiché permette di sfruttare dati eterogenei e annotazioni geometriche incomplete tipiche degli ambienti reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.