Causal Chain of Thought: Mitigating Attention Leakage via Context Isolation
Pubblicata su AIChronos il · fonte del · Gabriele Dominici, Teague McMillan, Fazl Barez, Marc Langheinrich, Martin Gjoreski
Il prompting Chain-of-thought (CoT) genera giustificazioni passo-passo che non garantiscono causalità con la risposta finale. L'articolo introduce CausalCoT, un framework di inference basato su una struttura Markoviana che isola il contesto per ogni nodo in un grafo aciclico diretto. Questo approccio elimina le vie di attenzione verso contenuti non-parentali, rendendo le previsioni sensibili al ragionamento locale invece del leakage globale. Il metodo preserva la performance predittiva sui benchmark mentre aumenta significativamente la fedeltà delle spiegazioni e la sensibilità causale dei passaggi intermedi.
- CausalCoT decompone i problemi in un grafo di sott-questions atomiche per garantire trasparenza causale.
- L'isolamento del contesto rimuove le dipendenze da informazioni non direttamente correlate al nodo corrente.
- Il framework migliora la fedeltà delle spiegazioni aumentando la sensibilità causale fino a 21 punti percentuali rispetto alle baseline.
- La struttura di grafo permette interventi durante il test-time (test-time interventions) con propagazione prevedibile delle correzioni locali.
Perché conta. Per gli sviluppatori che lavorano su LLM e agenti, CausalCoT offre un modo per rendere le spiegazioni dei modelli affidabili senza sacrificare l'accuratezza predittiva. È cruciale per applicazioni di AI locale dove la trasparenza del processo decisionale è essenziale per il debugging e la fiducia dell'utente.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.