BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
Pubblicata su AIChronos il · fonte del · Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng (Fudan University)
BridgeWAM introduce Bridge-of-Experts (BoE), un'architettura che accoppia esperti di video e azione tramite query latenti invece dell'attenzione densa tradizionale. Questo approccio permette agli gradienti dell'azione di guidare l'esperto del video verso rappresentazioni utili per la predizione, mentre l'esperto dell'azione apprende a recuperare selettivamente informazioni rilevanti attraverso cross-attention. Il modello decoppia le profondità degli esperti e riutilizza le query latenti durante il denoising, risultando in un modello di 5.06B parametri con una testa d'azione ultraleggera.
- Utilizzo di 32 Latent Bridge Queries (LBQs) per aggregare priori visivi, linguistici e propriocettivi in uno spazio latente condiviso limitato.
- Supervisione congiunta video-azione che permette ai gradienti dell'azione di ottimizzare le rappresentazioni del Video Expert senza vincoli di profondità rigidi.
- Riduzione dei FLOPs per inferenza singola del 28.72% rispetto a Fast-WAM e latenza reale su robot ridotta a 77.1 ms (velocità 2,47 volte superiore).
- Performance elevate con il raggiungimento del 98.25% di successo su LIBERO e del 72.24% pooled success su LIBERO-Plus.
- Capacità generalizzata dimostrata da un'attenzione preferenziale verso oggetti target e destinazioni dei task anche sotto perturbazioni.
Perché conta. Questa architettura è rilevante per gli sviluppatori di agenti AI locali perché offre una via concreta per ridurre drasticamente i costi computazionali (FLOPs) dell'inferenza mantenendo alte prestazioni, permettendo l'esecuzione di task complessi su hardware meno potente.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.