Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Hugging Face blog
ProvenanceGuard è un sistema di verifica post-generazione che risolve il problema della 'cross-source conflation' negli agenti MCP, distinguendo tra fatti supportati da qualsiasi output e quelli attribuiti correttamente alla specifica fonte citata. A differenza dei checkers tradizionali come RAGAS o MiniCheck che aggregano le prove anonime, questo sistema decompone le risposte in claim specifici per validare l'appartenenza della fonte esatta senza collassare il contesto. Nei test su tracce mediche, ha bloccato efficacemente affermazioni non supportate e identificato errori di attribuzione delle fonti con un F1 score del 0.802.
- Gli standard factuality checkers falliscono nell'identificare l'MCP tool output specifico che sostiene ogni claim, validando solo la fattualità generale.
- ProvenanceGuard impedisce la 'cross-source conflation', dove un fatto vero in una fonte viene erroneamente attribuito a un'altra (es. dati sanitari vs letteratura medica).
- Il sistema utilizza MiniLM per routing e DeBERTa NLI per verificare il supporto, mantenendo l'identità della fonte senza anonimizzare le prove.
- La verifica richiede che i claim siano supportati dalla fonte esatta nominata o implicita nella risposta, non solo da qualsiasi dato nel pool ('the soup').
- L'integrazione con loop di riparazione RARR permette la risoluzione offline dei blocchi con un overhead di circa mezzo secondo per risposta.
Perché conta. Per gli sviluppatori che costruiscono agenti AI locali, è cruciale garantire l'affidabilità delle citazioni evitando che affermazioni fattualmente vere ma attribuite erroneamente erodano la fiducia dell'utente. Questo approccio riduce la dipendenza da giudici LLM secondari inconsistenti e previene errori di attribution prima che vengano stabiliti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.