Hy-Nomas: Towards Free-form Interactive World Generation
Pubblicata su AIChronos il · fonte del · Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li (Tencent Hunyuan)
Hy-Nomas è un modello video al mondo (world model) basato su uno backbone di diffusione da 8B che supporta istruzioni testuali libere e controllo della telecamera continuo. Il design centrale allinea le didascalie strutturate dei video con l'attenzione causale sensibile alle azioni, mantenendo il contesto descrittivo accessibile tra i segmenti mentre limita le istruzioni d'azione ai loro finestri temporali intenzionali. Un Prompt Enhancer (PE) vision-language traduce richieste utente e storie di interazione multimodali in condizioni strutturate per il segmento successivo. Il modello utilizza un curriculum multi-fase che introduce progressivamente la generazione causale, l'interazione testuale, il controllo della telecamera e addestramento su storie generate dal modello.
- Supporta comandi successivi preservando la storia rilevante e le conseguenze delle azioni in generazioni di variabile lunghezza.
- Utilizza un Prompt Enhancer (PE) per tradurre richieste multimodali in condizioni strutturate per il prossimo segmento generativo.
- Implementa attenzione causale che separa il contesto descrittivo accessibile dall'istruzione d'azione temporizzata.
- Include un workflow di adattamento leggero e benchmark rilasciati insieme ai pesi del modello per la ricerca riproducibile.
Perché conta. È rilevante perché offre una soluzione avanzata per l'interattività in ambienti generativi, permettendo agli sviluppatori di integrare controlli della telecamera fluidi e gestione dello stato contestuale nei propri agenti AI o applicazioni locali senza dover addestrare modelli da zero.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.