Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Chengqian Ma, Wenhao Feng, Weixuan Jin, Gaole Dai, Tianyu Xie, Yuexiao Ma (Peking University)
Duplex-MPE è un nuovo benchmark introdotto per valutare le capacità di interazione multi-partecipante in sistemi full-duplex che ascoltano e parlano simultaneamente. A differenza dei test esistenti focalizzati su utenti designati, questo dataset include scenari con tre o quattro umani interagendo con un assistente AI senza script né confini rigidi tra i turni. Il benchmark misura la capacità del modello di decidere quando rispondere, rimanere in silenzio o interrompersi basandosi esclusivamente sull'audio continuo. Vengono testate cinque architetture open-weight, evidenziando come MiniCPM-o 4.5 ecceda su tre metriche chiave rispetto ad altri sistemi che spesso parlano troppo senza garantire accuratezza.
- Duplex-MPE valuta l'iniziazione della risposta, la precisione delle risposte, il mantenimento del silenzio e l'arresto quando un umano risolve una richiesta.
- Il dataset comprende 2.000 scenari con audio continuo privo di trascrizioni o marcatori temporali dei turni.
- MiniCPM-o 4.5 si distingue su tre capacità misurate, mentre altri modelli mostrano frequenti errori nel silenzio o risposte inaccurate.
- Un riferimento basato su Gemini 3.1 Pro risponde significativamente più spesso alle richieste esplicite rispetto a quelle implicite (64.3 punti percentuali).
- I test accoppiati rivelano che i sistemi full-duplex non mostrano differenze statisticamente significative nel tasso di risposta tra richieste esplicite e implicite.
Perché conta. ['Permette agli sviluppatori di validare le capacità conversazionali dei propri agenti AI in contesti realistici senza dipendere da trascrizioni o turn-taking rigidi.', "È fondamentale per chi sviluppa modelli locali open-weight, fornendo un punto di riferimento oggettivo per confrontare l'efficienza e la naturalezza delle interazioni multi-partecipante."]
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.