Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents
Pubblicata su AIChronos il · fonte del · Zhenyu Zhang, Kewei Fu, Yongqi Tong, Chenzhi Zheng, Wei Wu, Jiang-Ming Yang
Il documento introduce Heartbeat Thinking, un paradigma per gli agenti vocali che permette di eseguire ragionamento speculativo e invocazioni strumenti durante l'ascolto del parlato in tempo reale. A differenza degli approcci tradizionali bloccati dall'interruzione o dal chunking, questo metodo gestisce aggiornamenti dell'input tramite nuove invocazioni Thinker senza interrompere le operazioni in corso. I risultati parziali accumulati aiutano a risolvere argomenti mancanti e ad avviare chiamate dipendenti, trasformando il tempo di ascolto in preparazione riutilizzabile.
- Gli agenti vocali tradizionali lasciano gli utenti in attesa dopo la fine del parlato anche quando le informazioni sono già disponibili.
- Heartbeat Thinking permette alle invocazioni degli strumenti e al ragionamento speculativo di completarsi durante l'ascolto, accoppiando meno il tempo computazionale agli aggiornamenti del parlato.
- Sui benchmark FDBench v3, Heartbeat aumenta la copertura degli strumenti del 16 punti percentuali rispetto a una baseline stile SHANKS.
- La latenza media della risposta finale viene ridotta dell'8.4% (corrispondente al miglioramento complessivo riportato come riduzione del 36.4% in termini specifici di efficienza nel contesto FDBench v3).
- Il paradigma preserva il calcolo in corso durante l'ascolto, migliorando la capacità e la velocità delle risposte degli agenti vocali.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questa tecnica è cruciale per ottimizzare le prestazioni di sistemi interattivi in tempo reale, riducendo i tempi di attesa percepiti dall'utente senza sacrificare la qualità del ragionamento.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.