HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
Pubblicata su AIChronos il · fonte del · Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai (Tencent)
HiSTEVE è un agente VLA gerarchico progettato per operare in giochi open-ended come Minecraft, integrando autonomia a lungo termine e controllo nativo tramite interfaccia utente. L'architettura utilizza una memoria strutturata e un pianificatore VLM per la selezione dei sotto-compiti, mentre un rilevatore dello stato del compito accoppiato alla policy segnala il completamento affidabile di ogni fase. Al livello di controllo, un singolo modello VLA esegue tutti i sotto-compiti utilizzando solo percezione visiva ed azioni native tramite tastiera e mouse. Per mitigare le interferenze tra interazioni GUI e non-GUI, l'approccio introduce rami RMSNorm specifici per regime e embedding separati per il movimento del mouse.
- Integrazione di memoria strutturata e pianificazione VLM all'interno di un harness aware delle capacità dell'agente.
- Utilizzo di rilevatori dello stato del compito che condizionano il segnale sul completamento al contesto della policy VLA.
- Implementazione di rami RMSNorm specifici per regime ed embedding separati per gestire l'interferenza tra interazioni GUI e non-GUI.
- Addestramento combinato tramite iniezione di conoscenza del mondo, imitation learning e reinforcement learning con feedback dell'ambiente.
- Raggiungimento dello stato dell'arte sui benchmark atomici (MineStudio Bench) e completamento di task a lungo termine come la creazione di una pickaxe.
Perché conta. Questo paper è rilevante per gli sviluppatori che lavorano con agenti AI perché dimostra un approccio ibrido efficace per combinare pianificazione ad alto livello con controllo fine nativo, superando le limitazioni degli attuali modelli puramente basati su API o skill predefiniti. Offre spunti pratici sull'architettura di sistemi autonomi in ambienti proceduralmente generati e sulla gestione robusta delle interfacce utente eterogenee.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.