HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
Pubblicata su AIChronos il · fonte del · Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang, Ruoxi Cheng (Shanghai Jiao Tong University)
HABIT-Bench è un benchmark introdotto per valutare la capacità degli agenti basati su LLM di inferire abitudini utente da prove longitudinali deboli e applicarle in contesti futuri. Gli autori costruiscono storie sintetiche derivate da dati dialogici orientati ai task, coprendo domini come cibo, finanza, software e viaggio. Il benchmark testa quattro tipi di compiti che includono eccezioni temporanee, cambiamenti nelle abitudini e suggerimenti non accettati dall'utente. I risultati mostrano un divario persistente tra l'accesso alle interazioni passate e la capacità effettiva degli agenti di inferire e utilizzare correttamente le abitudini.
- Le osservazioni individuali forniscono spesso solo prove parziali su una specifica abitudine o sul suo momento di applicazione.
- Il semplice mantenimento delle interazioni passate non garantisce che gli agenti possano inferire abitudini e applicarle opportunamente.
- Sono stati valutati otto metodi di memoria utilizzando i modelli Qwen3-235B-A22B e GLM-5.3-Flash su quattro domini diversi.
- Il metodo migliore raggiunge una macro accuracy del 33,61%, ma le prestazioni rimangono limitate anche con evidenza annotata diretta.
- Tutti i task campionati sono stati sottoposti a revisione umana indipendente per garantire la qualità dei dati.
Perché conta. Per gli sviluppatori che lavorano su agenti AI e sistemi di memoria locale, questo paper evidenzia le sfide critiche nell'estrazione implicita di preferenze utente da conversazioni lunghe senza supervisione esplicita. Comprendere questi limiti è fondamentale per progettare architetture di memory system più robuste prima del fine-tuning o dell'implementazione in produzione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.