DualWorldBench: Can Agents Plan Deliveries across Symbolic and Grounded Worlds?
Pubblicata su AIChronos il · fonte del · Yang Chen, Bin Wen, Danyang Peng, Hong-Jie You, Zi-Qiao Shang, Lan-Zhe Guo
DualWorldBench è un benchmark unificato progettato per valutare la capacità degli agenti AI di pianificare consegne integrando mondi simbolici e groundati. Il sistema include tre componenti principali: TextWorld per il planning simbolico, SimWorld per il path planning groundato con input multimodali, e DualWorld-VQA come suite diagnostica. Gli esperimenti evidenziano un divario critico tra la comprensione locale delle osservazioni e la pianificazione globale coerente sotto vincoli temporali e fisici.
- Il benchmark isola le sfide del planning simbolico variando composizioni di task e dinamiche di rilascio in TextWorld.
- SimWorld valuta la conversione affidabile delle osservazioni groundate (testo, immagini) in sequenze d'azione fattibili sotto variazioni topologiche controllate.
- DualWorld-VQA conferma che una buona comprensione della percezione e della topologia non garantisce automaticamente un planning vincolato efficace.
- I risultati identificano la composizione di evidenze simboliche o groundate come sfida centrale per piani multi-obiettivo globalmente fattibili ed efficienti.
- Tutti i dataset e il codice sono pubblicamente disponibili sul sito del progetto.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti autonomi e AI locale, questo benchmark è cruciale per comprendere le limitazioni attuali nell'integrazione tra percezione, ragionamento e planning sotto vincoli complessi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.