Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

Pubblicata su AIChronos il 23 ottobre 2026· fonte del 20 ottobre 2026· Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen (Tsinghua Spatial Intelligence Lab)

Lo studio indaga l'efficacia del continued pre-training (CPT) per agenti incarnati in mondi virtuali diversi, analizzando tre assi: volume dei dati, diversità e dimensione del modello. I risultati evidenziano che mentre più dati migliorano le prestazioni nel dominio di addestramento, la diversità favorisce il trasferimento verso mondi correlati ma con guadagni limitati in quelli distanti. Viene inoltre identificata una fase iniziale a beneficio trasversale seguita da una fase successiva focalizzata sui domini specifici, permettendo di definire leggi empiriche sul scaling che collegano loss di validazione a volume dati e dimensione del modello.

• Il continued pre-training (CPT) su corpora multi-mondo migliora l'efficienza dei dati rispetto all'addestramento singolo mondo, ma generalizza peggio verso mondi distanti senza diversità.
• Si osserva una transizione da una fase di 'interfaccia' con benefici cross-world a una fase di 'mondo' dove i guadagni si concentrano su domini correlati o in-corpus.
• I modelli sviluppati sono competitivi rispetto agli specialisti Minecraft e ai frontier models nei mondi 3D, eccellendo specificamente nelle impostazioni real-time.
• Le limitazioni dell'apprendimento per imitazione e il persistente gap di performance sui mondi distanti suggeriscono la necessità di stadi di addestramento più ricchi oltre il semplice CPT.

Perché conta. Questa ricerca è cruciale per gli sviluppatori che costruiscono agenti AI locali o LLM, poiché definisce i limiti attuali del scaling nei mondi virtuali e indica la necessità di strategie di training ibride (oltre al solo pre-training) per raggiungere una vera generalizzazione in ambienti non visti.

Vai alla fonte originale ↗ arXiv ↗

Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.