World-in-Context: Interactive Video World Modeling with In-Context Conditioning
Pubblicata su AIChronos il · fonte del · Harold Haodong Chen, Rui Peng, Rongjin Guo, Lingteng Qiu, Kejie Qiu, Chao Xu (TongyiLab)
World-in-Context è un framework per il world modeling interattivo che utilizza la In-Context Conditioning (ICC) per unificare esplicitamente i controlli di vista, azione e camera in token contestualizzati all'interno dello spazio self-attention condiviso. A differenza dei metodi esistenti, questo approccio disaccoppia le dinamiche conflittuali e permette il cambio di prospettiva emergente direttamente dai dati a singola vista tramite token visivi espliciti. Il modello introduce inoltre Interaction-Transport RoPE (IT-RoPE) per parametrizzare l'attenzione temporale con transizioni accumulate di controllo, preservando la continuità temporale.
- Unificazione dei controlli: Vista, azione e camera sono gestiti tramite token espliciti in uno spazio self-attention condiviso invece che attraverso pathway architetturali frammentati.
- Disentanglement delle dinamiche: I token visivi espliciti risolvono conflitti dinamici e abilitano il cambio di prospettiva (view switching) partendo da dati a singola vista.
- Ruoli complementari: Gli input di azione governano la responsività locale, mentre gli input della camera gestiscono la stabilità globale del sistema.
- Continuità temporale: L'uso di Interaction-Transport RoPE assicura coerenza temporale attraverso intervalli di esecuzione accumulando transizioni di controllo.
- Efficienza e prestazioni: Il modello da 5B raggiunge performance di navigazione paragonabili a modelli EchoWM da 22B (81.6 vs 81.5) con un tasso di successo nel cambio prospettiva del 93.8%.
Perché conta. Questa architettura è rilevante per gli sviluppatori che lavorano su agenti e AI locali perché offre una soluzione scalabile ed efficiente (modello da 5B) capace di gestire controlli complessi come il movimento della telecamera senza richiedere infrastrutture massive, facilitando l'integrazione in sistemi autonomi o simulazioni interattive.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.