AuDQ: Auditable Data Quality through Agentic Rule Discovery
Pubblicata su AIChronos il · fonte del · Jacopo Biggiogera, Nicolas Colombo, Krati Saxena, Bhaskarjit Sarmah, Stefano Pasquali
Il paper propone AuDQ, un framework per la qualità dei dati basato su ontologie e nativo nei repository, che tratta le regole di controllo come artefatti primari versionati e tracciabili. L'implementazione presenta un nucleo di scoperta delle regole guidata da agenti con due modalità: Full-Agentic (autonomo) e Guided, supportato da una interfaccia Human-in-the-Loop per la revisione. Gli esperimenti preliminari su dataset reali nei settori finanziario e al dettaglio valutano se l'approccio autonomo basato sul divide-and-conquer produca regole con qualità e diversità paragonabili a quelle definite da esperti umani.
- Le pipeline tabulari ad alto rischio soffrono per controlli di qualità statici difficili da evolvere ed auditare rispetto all'intento delle policy.
- AuDQ introduce un layer di qualità dei dati fondato su ontologie dove le regole sono artefatti first-class con provenance linkati a testi di governance.
- Il sistema offre due modalità di acquisizione: Full-Agentic per l'autonomia completa e Guided, entrambe supportate da tracciature immutabili ed eseguibili (re-playable).
- L'approccio divide-and-conquer dei agenti mira a replicare la qualità e la diversità delle regole specificate manualmente dagli esperti.
- La soluzione è particolarmente rilevante per domini regolati che richiedono maggiore tracciabilità e accountability nell'era dell'automazione LLM.
Perché conta. È fondamentale per gli sviluppatori di agenti AI perché offre un meccanismo strutturato per generare, versionare e auditare automaticamente le regole di qualità dei dati senza dipendere esclusivamente da controlli statici o manuali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.