GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Jiahao Lu, Minghao Yin, Wenbo Hu, Hengyu Liu, Wang Zhao, Sai-Kit Yeung (ARC Lab, Tencent)
Il paper introduce GAE (Geometry-Aware Encoder), un autoencoder che reparametrizza le feature di un modello fondazionale in uno spazio latente nativo alla geometria. Questo approccio permette a generatori visivi standard, come i flussi condizionali, di produrre frame fotorealistici mantenendo una coerenza 3D consistente tra diverse viste senza aggiungere output geometrici separati. Lo spazio latente risultante è congiuntamente decodificabile per aspetto, profondità, camere e mappe puntuali, fungendo da interfaccia condivisa tra percezione e generazione.
- I generatori tradizionali evolvono latent centrici sull'aspetto (appearance-centric), mentre i modelli di percezione recuperano la geometria in spazi ricchi semanticamente; GAE unifica questi approcci.
- Sostituendo lo spazio latente convenzionale con quello nativo alla geometria, l'errore della traiettoria delle camere su RealEstate10K viene dimezzato.
- Le metriche di coerenza 3D migliorano significativamente: FVD diminuisce del 12.7% e del 23.1% rispettivamente sui dataset RealEstate10K e DL3DV.
- GAE dimostra che lo spazio latente è centrale per la generazione coerente con la geometria, risolvendo un problema sia di modellazione che di rappresentazione.
Perché conta. Per uno sviluppatore focalizzato su AI locale o agenti autonomi in ambienti fisici, GAE offre una base compatta e condivisa per integrare capacità percettive (come la stima della profondità) direttamente nei processi generativi, riducendo il gap tra simulazione visiva e realtà fisica.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.