GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay
Aggiunta all'archivio di AIChronos il (numero del 22 settembre 2026 ricostruito)· fonte del · Yiran Wang, Xingyilang Yin, Junfu Pu, Guangzhi Wang, Kaifeng Li, Mingyu Ouyang (Tencent)
GameHorizon Suite è un insieme di dati e valutazione progettato per misurare le capacità dei modelli AI in giochi video su diversi orizzonti temporali. La suite include GameHorizon-Annotator per istruzioni scalabili, GameHorizon-Data con oltre 5.000 ore di registrazioni da 21 titoli AAA allineati temporalmente e azioni del giocatore, e GameHorizon-Bench per test offline riproducibili e online stepwise. L'analisi ha valutato 47 modelli attraverso più di un milione di invocazioni, rivelando gerarchie significative nella difficoltà dei task e differenze nelle capacità dei modelli.
- Introduzione del primo dataset su larga scala AAA per gameplay con video temporaneamente allineati, azioni e istruzioni multi-orizzonte.
- GameHorizon-Annotator fornisce un pipeline automatizzato ed scalabile per annotare istruzioni a diversi orizzonti temporali.
- Il benchmark include una traccia offline standardizzata e una online che localizza i fallimenti specifici nei passaggi del gameplay lungo termine.
- Valutazione di 47 modelli con oltre un milione di invocazioni, evidenziando differenze pronunciate nelle capacità dei vari family di modelli.
- La suite offre uno strumento standardizzato per valutare le capacità di gioco su diversi orizzonti temporali e famiglie di modelli.
Perché conta. Questa risorsa è cruciale per gli sviluppatori che lavorano con LLM, agenti AI e inferenza locale poiché fornisce un metro di paragone rigoroso per testare la pianificazione a lungo termine, il controllo delle azioni precise e l'affidabilità dei modelli in scenari complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.