Ask Before You Answer: A Question-Driven Evidence Reasoning Architecture (QERA) for In-Context Learning
Pubblicata su AIChronos il · fonte del · Jinhu Qi, Minda Hu, Wentao Zhang, Zixing Song, Irwin King
Il benchmark CL-bench Life rivela che i modelli LLM attuali falliscono nel ragionamento su tracce web personali (chat, log) perché interpretano male le richieste implicite rispetto alle rubriche originali. Per risolvere questo problema, gli autori propongono QERA, un'architettura Question-driven Evidence Reasoning che trasforma la richiesta in una checklist di requisiti e bisogni informativi filtrati per fedeltà al testo utente prima di rispondere. Questo approccio evita l'addestramento specifico, richiedendo solo chiamate a modelli LLM esistenti e applicando riparazioni locali guidate dal codice per verificare le risposte con citazioni esatte.
- QERA supera i limiti dei frontier LLM su CL-bench Life raggiungendo un tasso di risoluzione medio del 21,0% contro il 14,6% dell'answer diretto.
- L'architettura converte le richieste utente in checklist e bisogni informativi tipizzati per garantire fedeltà ai dati originali prima della generazione.
- Il sistema richiede circa quattro chiamate LLM per task senza bisogno di training o rubriche predefinite specifiche.
- Le ablazioni su GPT-6-Luna dimostrano che il guadagno prestazionale deriva dal protocollo fisso di risposta e dalle domande specifiche alla richiesta (+5,4 punti totali).
- QERA utilizza significativamente meno token rispetto a Ctx2Skill (circa 4-5%) pur superando le baseline basate sull'inference-time.
Perché conta. Per gli sviluppatori di agenti e AI locali, QERA offre un framework per gestire il ragionamento su dati privati senza addestrare nuovi modelli o costruire rubriche complesse. È rilevante perché risolve criticamente il problema dell'allucinazione implicita nei task reali (come l'analisi di chat history) garantendo fedeltà ai fatti tramite verifiche codificate prima della risposta finale.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.