Bengali Hallucination Detection with Retrieval and Programs: A System Study
Pubblicata su AIChronos il · fonte del · Shamim Hasan, Samiya Ahmed Chowdhury
Il documento presenta uno studio sistematico su un sistema di rilevamento delle allucinazioni in Bengali che opera esclusivamente tramite inferenza. L'architettura combina la riscrittura condizionale dalle risposte, il recupero ibrido e modelli linguistici specializzati per giudicare le affermazioni senza passaggi di addestramento aggiuntivi. Il sistema utilizza sei percorsi di retrieval diretti a un giudice testuale da 27B o a un agente da 14B capace di eseguire codice Python. L'analisi include una caratterizzazione auditabile delle prestazioni, dei tracciati di esecuzione e le limitazioni riguardo alla generalizzazione indipendente dal corpus.
- Il sistema distingue tra affermazioni fattuali non supportate ed errori logici senza bisogno di passaggi forniti a priori.
- Un router indirizza gli esempi verso un giudice testuale da 27B o verso un agente da 14B in grado di ragionare direttamente o eseguire Python.
- L'audit del corpus rivela sovrapposizioni esatte tra domande e contesto per il 38% degli input valutati, limitando le pretese di generalizzazione indipendente dal dataset.
- Le prove empiriche mostrano che variazioni nei risultati possono verificarsi anche con codice core identico in run successivi.
- Lo studio si concentra su un'architettura concreta e auditabile piuttosto che sulla stima controllata dei guadagni individuali dei componenti.
Perché conta. Per gli sviluppatori di agenti AI locali, questo approccio offre una via per implementare meccanismi robusti di rilevamento delle allucinazioni senza richiedere risorse computazionali proibitive o dataset di riferimento esterni. La capacità dell'agente di eseguire codice Python permette un ragionamento strutturato che può mitigare errori logici complessi tipici dei modelli puramente generativi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.