RECITE: Revising Eligibility Criteria Incorporating Textual Evidence
Pubblicata su AIChronos il · fonte del · Russell Ro, Reza Abbasi-Asl
Il framework RECITE automatizza la scoperta e l'implementazione di revisioni basate su prove per i criteri di eleggibilità nei trial clinici. Il sistema utilizza documenti di emendamento del protocollo da ClinicalTrials.gov per creare un dataset curato che abbina criteri originali, evidenze documentali e revisioni target. Vengono benchmarkati quindici configurazioni LLM in condizioni RAG e finestre contestuali troncate, validando le prestazioni contro esperti umani con un accordo significativo ($\kappa_{qw} = 0.694$). I risultati indicano che modelli open-weight come Gemma 2 9B possono raggiungere performance paragonabili ai modelli chiusi GPT-4o nell'identificare raccomandazioni di design del trial.
- RECITE è un framework per la revisione automatizzata dei criteri di eleggibilità incorporando evidenze testuali da documenti ufficiali.
- Il dataset costruito include 11.913 istanze curate provenienti da oltre 5.700 trial clinici su ClinicalTrials.gov.
- La validazione LLM-as-judge contro dieci esperti umani ha mostrato un accordo quadratico-pesoato di Cohen ($\kappa_{qw}$) pari a 0,694.
- Il modello open-weight Gemma 2 9B ottiene uno score normalizzato del 74,2%, superando o eguagliando il best-in-class GPT-4o (74,5%).
- Un sistema agentic di scoperta della letteratura ha identificato 44 abbinamenti paper-trial in cinque pubblicazioni chiave.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti AI locali, questo lavoro dimostra come sistemi RAG possano essere applicati per compiti specialistici (domain-specific) utilizzando modelli open-weight efficienti invece di dipendere esclusivamente da API proprietarie.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.