RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations
Aggiunta all'archivio di AIChronos il (numero del 5 ottobre 2026 ricostruito)· fonte del · Arman Behnam, Sunglyoung Kim, Liangwei Yang (Quis Lab)
Il paper introduce ench, un benchmark composto da dieci relazioni reali con un companion AI basato su 27.218 messaggi raccolti in fino a 120 giorni. Lo studio analizza la capacità dei modelli di comprendere l'utente nel tempo attraverso profili, personae e verità fattuali derivate dalle conversazioni, includendo le tracce di ragionamento per ogni etichetta. I risultati evidenziano che il contesto recente è spesso sufficiente (95.9% delle query), mentre i tentativi di rilevare quando serve memoria falliscono sui messaggi reali ma funzionano su domande artificiali. Inoltre, tre sistemi agent ricostruiscono la persona con prestazioni F1 simili nonostante differenze nel costo fino a 31 volte.
- Il benchmark ench rilascia dati privati sintetizzati in profili e personae per testare l'evoluzione della comprensione dell'utente da parte di un AI companion.
- L'utilizzo del contesto recente (recency window) soddisfa il 95.9% delle query, rendendo spesso superfluo accedere a messaggi molto vecchi o lontani nel tempo.
- Nessun detector attuale riesce a identificare correttamente quando la memoria è necessaria su conversazioni reali, mentre domande artificiali introducono bias che alterano l'uso della memoria del 10-14%.
- Diverse architetture agent riescono a raggiungere lo stesso livello di accuratezza (F1) nella ricostruzione della persona con un dispendio computazionale fino a 31 volte diverso.
- Ogni etichetta nel dataset include la traccia di ragionamento verificata stage-by-stage contro il flusso conversazionale originale.
Perché conta. È fondamentale per gli sviluppatori che costruiscono agenti o sistemi locali perché dimostra come ottimizzare le finestre contestuali evitando costi inutili nell'accesso alla memoria a lungo termine. Inoltre, mette in guardia dall'affidarsi su metriche di rilevamento della memoria senza validazione su dati reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.