MambaAct: Efficient Mamba Action Experts for Flow-Matching Vision-Language-Action Models
Pubblicata su AIChronos il · fonte del · Khuyen Pham, Tran Nguyen Le, Edoardo Fazzari, Cesare Stefanini (Mohamed Bin Zayed University of Artificial Intelligence)
Il documento presenta MambaAct, un'architettura efficiente per modelli Vision-Language-Action (VLA) basati su flow-matching come π_{0.5}. L'autore sostituisce l'action expert tradizionale basato sui transformer con uno compatto basato su Mamba, riducendo drasticamente i costi di inferenza durante il denoising iterativo. Per mantenere la conditioning visivo-linguistica senza cross-attention ripetitiva a livello token, viene introdotto un Context Compressor leggero che mappa i prefix tokens del VLM in un segnale compattato per modulare ogni blocco Mamba. I risultati sperimentali mostrano una riduzione della latenza di denoising fino al 64.8% su LIBERO e guadagni significativi nel successo medio delle manipolazioni robotiche.
- Sostituzione dell'action expert transformer-based con un action expert Mamba-compact per migliorare l'efficienza computazionale.
- Utilizzo di un Context Compressor leggero che evita la cross-attention ripetitiva a livello token preservando il conditioning VLM.
- Mamba funge da mixer d'azione modellando le dipendenze all'interno della sequenza continua rumorosa dell'action.
- Riduzione del 64.8% della latenza di denoising su benchmark come LIBERO rispetto alle implementazioni standard.
- Disponibilità pubblica dei pesi del modello e del codice sorgente tramite repository GitHub.
Perché conta. Questa architettura è cruciale per sviluppatori che lavorano con agenti autonomi o LLM locali, poiché riduce il costo computazionale dell'inferenza rendendo possibile un controllo robotico in tempo reale senza sacrificare le prestazioni del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.