New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
Pubblicata su AIChronos il · fonte del · Hugging Face blog
NVIDIA ha rilasciato quattro nuovi checkpoint open-weight della famiglia Cosmos 3 Nano (16B parametri) per la simulazione interattiva del mondo e scenari di guida multi-sensore. Questi modelli includono varianti bidirezionali per dati offline, streaming causale per osservazioni in tempo reale, rendering RGB da controlli fisici e simulazione bimanuale per robotica. Le architetture utilizzano un backbone Mixture-of-Transformers che connette reti testuali e visive tramite attenzione temporale-causale per generare segmenti di video compressi (latents). Il training segue una ricetta a quattro stadi, culminante con il self-forcing su storia generata per mitigare l'accumulo di errori. I modelli sono distribuiti sotto la licenza OpenMDW1.1, permettendo uso commerciale e non.
- I nuovi checkpoint Cosmos3-Nano offrono capacità specifiche: Transfer-Auto (dati offline multi-view), Sim-Auto (streaming causale), Sim-Transfer (render RGB da simulator) e Sim-Bimanual (azione robotica verso video).
- L'architettura si basa su un Mixture-of-Transformers che genera segmenti brevi partendo da prompt, controlli disponibili e storia generata, utilizzando attenzione temporale-causale.
- Il processo di adattamento richiede quattro stadi: bidirezionale, teacher forcing, distillazione per consistenza e self-forcing sulla storia generata del modello studente.
- Sim-Bimanual supporta simulazioni interattive a due bracci (YAM/AgiBot) normalizzando le azioni grezze in rappresentazioni di controllo compatibili con l'inference.
- La generazione streaming opera su latents compressi dove ogni passo temporale rappresenta quattro frame RGB, ottimizzando la frequenza di aggiornamento dei controlli.
Perché conta. Permette agli sviluppatori di costruire mondi simulati più ricchi per il training e l'evaluation delle policy degli agenti autonomi senza dipendere da dati reali costosi o pericolosi. Fornisce un fondamento open-weight per integrare modelli visivi generativi in pipeline locali di robotica bimanuale e guida autonoma, facilitando la distillazione causale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.