PhysInsert: Physically Plausible Object Insertion with Geometric Priors and Bidirectional Object-Scene Interactions
Pubblicata su AIChronos il · fonte del · Yue Gong, Le Zhang, Rui Chen, Song Chang, Xiaochao Qu, Luoqi Liu
PhysInsert è un framework per l'inserimento fisicamente plausibile di oggetti basati su riferimenti che adatta congiuntamente gli oggetti e le scene circostanti. Il metodo supera i limiti delle tecniche esistenti costruendo il dataset Insert World con coppie contrefattuali allineate da Blender e utilizzando supervisione bidirezionale tra oggetto e scena. Attraverso la Geometry-Guided Adaptation, un flusso VGGT guida l'inserimento spazialmente coerente accoppiando flussi geometrici a quelli di immagine e testo. Infine, il framework introduce PhysInsert-Bench per valutare capacità oltre il semplice copia-incolla dell'aspetto, includendo adattamenti di illuminazione e pose.
- Costruzione del dataset Insert World con coppie contrefattuali allineate rigorosamente su punti di vista e condizioni di illuminazione diverse.
- Geometry-Guided Adaptation accoppia un flusso VGGT geometrico ai flussi immagine e testo sotto supervisione delle caratteristiche della scena target per garantire coerenza spaziale.
- Complementary 2D Object-Scene Spatial Supervision supervisiona l'occupazione dell'oggetto e i cambiamenti ambientali ancorando le istruzioni spaziali alle regioni degli oggetti tramite attenzione immagine-testo.
- Introduzione di PhysInsert-Bench con casi cross-environment e cross-view che richiedono adattamenti di illuminazione e pose oltre la semplice copia dell'apparenza.
- Studi utente confermano un posizionamento più accurato, una migliore integrazione della luce e maggiore plausibilità prospettica rispetto ai metodi basati su masked inputs o generation-based pairs.
Perché conta. È rilevante per gli sviluppatori che lavorano con agenti AI e rendering locale perché fornisce strumenti concreti per gestire interazioni fisiche realistiche tra oggetti inseriti e l'ambiente, superando le limitazioni attuali dei modelli di generazione pura.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.