F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
Pubblicata su AIChronos il · fonte del · Jinyu Zhang, Haitao Lin, Jiashu Hou, Xiangyang Xue, Yanwei Fu (Shanghai Innovation Institute)
F2G-Pose è un framework real-time a singolo passaggio per la stima della posa di oggetti al livello categoriale utilizzando osservazioni RGB-D dirette. Il metodo eleva le caratteristiche visive fondamentali dense su nuvole parziali, codifica la geometria locale tramite tokenizzazione DGCNN e integra strutture di oggetto con un Transformer Mixture-of-Experts. Attraverso una supervisione geometrica densa che combina previsione delle dimensioni metriche e completamento della forma nel frame della camera, il modello garantisce coerenza metrica senza bisogno di modelli CAD specifici o viste di riferimento.
- Predizione diretta in un solo passaggio (single-pass) di posa, dimensione metrica e forma completa del quadro camera da una singola osservazione RGB-D.
- Utilizzo di uno backbone RADIO congelato pre-addestrato esternamente combinato con una rete specifica per il compito addestrata su dati sintetici SOPE.
- Architettura ibrida che integra tokenizzazione DGCNN, lifting di feature e un Mixture-of-Experts Transformer per gestire ambiguità come simmetrie e variazioni intra-classe.
- Raggiungimento dello stato dell'arte su benchmark SOPE e ROPE con una latenza operativa di 28 FPS durante l'inferenza della sola posa.
- Dimostrazione di robustezza nel trasferimento a oggetti reali (HANDAL) e capacità di completamento geometrico in scenari domestici complessi.
Perché conta. Per gli sviluppatori che lavorano con AI locale o sistemi autonomi, F2G-Pose offre un approccio efficiente per la manipolazione fisica senza dipendere da modelli CAD precisi, riducendo i requisiti computazionali rispetto ai diffusi modelli basati su diffusione. L'architettura ibrida permette di integrare percezione geometrica robusta in agenti che operano con input RGB-D parziali o rumorosi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.