ReLift: Dense 3D Tracking as Lifted Trajectory Repair
Pubblicata su AIChronos il · fonte del · Assaf Singer, Maroun Khriesh, Noam Rotstein, Yoni Kasten, Or Litany (Technion Israel institute of technology)
ReLift è un framework feed-forward che ricasta il tracking denso 3D come riparazione geometrica di traiettorie. Il metodo utilizza tracker 2D pre-addestrati e modelli di geometria 3D per generare una base, correggendo poi gli errori di corrispondenza e profondità ereditati tramite un meccanismo di attenzione lungo le traiettorie. Questo approccio permette di addestrare direttamente su dati 3D simulando errori di lifting, decoupling l'addestramento dalle immagini specifiche o dai tracker originali.
- ReLift supera i tracker 3D dedicati utilizzando solo geometria e interpolazione delle traiettorie sollevate (lifted trajectories).
- Il modello corregge le posizioni corrotte sotto occlusione recuperando osservazioni affidabili senza retraining.
- Sul benchmark WorldTrack, ReLift migliora lo stato dell'arte di 2.1 APD su tutti i punti e 3.0 sui punti dinamici.
- La soluzione è efficiente ed esegue più velocemente del tracker leader 4RC mantenendo prestazioni competitive.
Perché conta. Per gli sviluppatori che lavorano con AI locale, questo approccio modulare permette di aggiornare le capacità di tracking migliorando i componenti base (tracker o geometria) senza dover riaddestrare l'intero sistema da zero.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.