Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds
Pubblicata su AIChronos il · fonte del · Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen
Matrix-Game 4.0 rappresenta il primo sistema a separare l'esecuzione del gioco dalla generazione visiva tramite un 'executable game harness'. Il framework utilizza un motore di gioco leggero per gestire lo stato persistente e le regole, mentre un agente multimodale traduce i comandi in codice dinamico. Un renderer basato su modelli video autoregressivi converte proxy low-poly in dettagliati asset grafici guidati da captioning dinamico.
- Il sistema raggiunge una latenza key-press-to-display di 112ms e un throughput steady-state di 83FPS a risoluzione 480p su singola GPU RTX5090.
- La generazione visiva avviene in chunk da quattro frame con uno o due step di denoising, ottimizzando l'inference causale.
- Il renderer è addestrato su coppie allineate low-poly/high-fidelity e distillato per garantire bassa latenza senza sacrificare la fedeltà.
- L'architettura abilita la creazione e modifica di scene tramite linguaggio naturale, supportando meccaniche enforce dal motore (es. shooter, driving).
- Sono rilasciate le code weights del modello, gli asset low-poly e il codice per favorire la ricerca su mondi giocabili persistenti.
Perché conta. Permette di costruire giochi interattivi in tempo reale utilizzando modelli video locali senza dipendere da API esterne ad alta latenza. Fornisce un pattern architetturale per combinare agenti AI, motori fisici e generatori visivi in loop chiusi a bassa latenza.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.