OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation
Pubblicata su AIChronos il · fonte del · Junli Liu, Zhongrui You, Chenhui Li, Zhen Li, Yuyang Tian, Qizhen Chen (IPEC at Shanghai AI Laboratory)
OpenFlyV2 è un'architettura vision-language-action unificata progettata per essere eseguita interamente a bordo (onboard) su piattaforme con risorse limitate come l'NVIDIA Jetson Orin NX. Il modello utilizza una rappresentazione condivisa della visione e del linguaggio per abilitare la comprensione semantica, la percezione ancorata al linguaggio, il ragionamento spaziale e il controllo aeroterrestre continuo in un'unica struttura. Grazie a un esperto di azioni compatto e alla memoria temporale sensibile al moto, il sistema converte il contesto multimodale condiviso in waypoint di volo a breve termine riducendo i costi computazionali dell'esecuzione in ciclo chiuso.
- Il modello genera chunk di azione composti da 12 waypoint operando interamente onboard a una frequenza di aggiornamento di 10 Hz.
- OpenFlyV2 dimostra capacità zero-shot, trasferendosi direttamente dalla simulazione al volo fisico su quadrotori senza dati di addestramento aeroterrestri reali.
- Il sistema raggiunge un tasso di successo nella navigazione del 48% attraverso quattro ambienti reali diversi utilizzando solo dati di simulazione per l'addestramento.
- L'integrazione di memoria temporale sensibile al moto e action priors ottimizza i costi computazionali necessari per il funzionamento in ciclo chiuso su hardware embedded.
Perché conta. Questa architettura dimostra che competenze linguistiche ampie e controllo continuo possono coesistere in un singolo modello locale, offrendo una via concreta per implementare agenti autonomi complessi direttamente sul dispositivo senza dipendere da cloud computing.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.