CardioVascBench:Prioritized Diagnosis Generation from Real-World Chinese Cardiovascular Records
Pubblicata su AIChronos il · fonte del · Minghao Kong, Muyao Chen, Jianhao Wu, Yuqiang Zhang, Xiangbin Meng, Zirong Liu
CardioVascBench è un benchmark retrospettivo progettato per valutare la generazione di diagnosi prioritarie da registri reali cinesi di pazienti con malattie cardiovascolari. Il dataset include oltre 3.000 casi anonimizzati che collegano narrazioni cliniche e report ECG a diagnosi dimissionarie verificate dagli esperti, standardizzate secondo ICD-10. La valutazione combina la normalizzazione terminologica e un scoring sensibile al rango per distinguere l'accuratezza della prima diagnosi dalla precisione dell'intera lista delle referenze. Gli esperimenti su 36 sistemi dimostrano che una maggiore accuratezza nella diagnosi primaria non garantisce necessariamente una migliore precisione nell'elenco completo.
- Il benchmark valida se un modello identifica correttamente la diagnosi principale senza compromettere la copertura di tutte le diagnosi rilevanti.
- CardioKG-Agent è una baseline potenziata dalla conoscenza che integra normalizzazione delle entità, retrieval grafico vincolato ed evidenza da linee guida cliniche.
- L'uso combinato di supervised fine-tuning e CardioKG-Agent migliora il punteggio composito medio del 73.5% rispetto al solo fine-tuning.
- La traduzione in inglese dell'insieme di valutazione permette confronti cross-linguali allineati con i dati originali cinesi.
- I risultati misurano l'accordo retrospettivo con le diagnosi registrate, lasciando la validazione contro il giudizio dei medici per futuri studi.
Perché conta. Per gli sviluppatori di LLM e agenti locali, questo paper evidenzia che ottimizzare solo per la risposta primaria (primary diagnosis) è insufficiente; è cruciale implementare meccanismi come RAG o retrieval grafico per garantire precisione nell'elenco completo delle diagnosi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.