UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
Pubblicata su AIChronos il · fonte del · Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu
UserArena è un benchmark reale per agenti di raccomandazione che include oltre 64.000 traiettorie di sessione da più di 11.000 utenti e circa mezzo milione di articoli. Il dataset supporta una valutazione a cinque livelli, dall'output validity fino agli outcome finali, abbinando le traiettoria con un ambiente interattivo validato contro test A/B in produzione. Per migliorare la fedeltà dei simulatori su interazioni long-horizon, viene proposto On-Policy Trajectory Distillation (OPTD), che utilizza intent a livello di traiettoria per fornire target densi ai rollouts generati dallo studente.
- UserArena offre un ambiente reale con dati granulari e supporta la validazione offline contro risultati A/B controllati in produzione.
- Il benchmark copre 566.102 articoli, 13 tipi di azioni e permette valutazioni fino al livello degli outcome personalizzati.
- On-Policy Trajectory Distillation (OPTD) migliora la fedeltà del simulatore sfruttando l'intent a livello di traiettoria per affinare i rollouts generati.
- L'approccio supera altri simulatori nella riproduzione dell'effetto della policy in produzione secondo il protocollo di valutazione UserArena.
Perché conta. È rilevante perché fornisce un framework rigoroso e dati reali per valutare la fedeltà dei simulatori interattivi, essenziale prima del deployment di agenti autonomi su larga scala.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.