From Pixels to Actions - Towards Native Vision-Language-Action Policies
Pubblicata su AIChronos il · fonte del · Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu (MMLab@NTU)
NEO-VLA è un framework vision-language-action privo di encoder visivi fissi che tokenizza le immagini tramite convoluzioni patch leggere e fa evolvere queste rappresentazioni congiuntamente al linguaggio lungo tutto il backbone. Questa architettura nativa permette a uno specialista delle azioni basato sul flow-matching di accedere alle rappresentazioni visuali condizionate dall'istruzione a diverse profondità computazionali, anziché limitarsi all'output finale dell'encoder. I risultati dimostrano che le architetture native superano quelle basate su encoder in termini di controllo e robustezza, specialmente quando si considerano segnali visivi critici per l'azione che raggiungono il picco prima della rappresentazione finale.
- L'architettura NEO-VLA elimina la dipendenza da un endpoint visivo fisso a favore dell'accesso diretto alle rappresentazioni visuali in evoluzione lungo la gerarchia computazionale.
- I segnali critici per l'azione, come geometria locale e profondità, sono spesso più accessibili prima della rappresentazione finale rispetto ai modelli tradizionali basati su encoder.
- Il fine-tuning completo riduce ma non elimina il divario di performance tra i modelli nativi e quelli con encoder fissi, indicando che la struttura architetturale è determinante.
- NEO-VLA mostra una maggiore robustezza nei compiti di manipolazione sottoposti a shift distribuzionali rispetto alle controparti basate su encoder.
- L'uso di layer-wise probing rivela come le rappresentazioni visive interne siano più ricche per il controllo dell'agente rispetto all'output compresso finale.
Perché conta. Per gli sviluppatori che costruiscono agenti autonomi o sistemi AI locali, questo approccio suggerisce che l'integrazione diretta delle informazioni percettive nel processo decisionale è superiore alla separazione rigida tra percezione e azione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.