HiP3R: Hierarchical Pose Graphs for Long-Horizon 3D Reconstruction
Pubblicata su AIChronos il · fonte del · Zunnan Xu, Shangchen Zhou, Yihang Luo, Chen Change Loy (Nanyang Technological University Singapore)
HiP3R risolve il problema della ricostruzione 3D su sequenze video lunghe ottimizzando un grafo gerarchico che bilancia efficienza e coerenza globale. Il metodo utilizza prima una robusta ottimizzazione a livello di chunk (Sim(3)) per stabilire la struttura generale, mantenendo poi fissa questa layout mentre stima una singola camera SE(3) condivisa per ogni frame. Questo approccio evita i costi computazionali proibitivi dell'ottimizzazione completa e risolve le incongruenze tra finestre sovrapposte senza richiedere addestramento aggiuntivo.
- Le sequenze video lunghe vengono processate come chunk sovrapposti, generando ricostruzioni locali con coordinate inconsistenti che necessitano di propagazione dei vincoli.
- L'ottimizzazione a livello di frame offre flessibilità locale ma è costosa computazionalmente e rischia di rompere la scala metrica globale.
- HiP3R impiega un grafo gerarchico per prima cosa stabilire il layout globale con Sim(3) e poi trasformare le previsioni locali in una singola traiettoria SE(3).
- Il metodo è compatibile sia con backend basati su chunk che streaming senza bisogno di fine-tuning o training aggiuntivo.
- Gli esperimenti dimostrano l'efficacia del modello nel migliorare le traiettorie delle telecamere e la ricostruzione 3D su diversi benchmark.
Perché conta. Sebbene HiP3R sia focalizzato sulla visione artificiale, il suo approccio gerarchico per gestire vincoli globali in sequenze lunghe offre un paradigma utile per progettare agenti AI che devono mantenere coerenza temporale e spaziale durante inferenze prolungate o elaborazione di flussi dati massivi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.