En ny undersøgelse udført af forskere fra Mount Sinai Health System antyder, at en simpel ændring i måden, hvorpå kunstig intelligens (AI) tildeler diagnostiske koder, kunne forbedre nøjagtigheden betydeligt, endda overgå lægernes præstationer. Resultaterne, der er offentliggjort i NEJM AI, kan hjælpe med at reducere den tid, som læger bruger på papirarbejde, mindske faktureringsfejl og forbedre kvaliteten af patientjournaler.
Eyal Klang, MD, Chief of Generative AI i Windreich Department of Artificial Intelligence and Human Health ved Icahn School of Medicine at Mount Sinai, sagde: “Vores tidligere studie viste, at selv den mest avancerede AI kunne producere forkerte koder, nogle gange nonsens-koder, når den blev efterladt til at gætte. Denne gang gav vi modellen mulighed for at reflektere og gennemgå lignende tidligere tilfælde. Den lille ændring gjorde en stor forskel.”
I USA bruger læger timer hver uge på at tildele ICD-koder – alfanumeriske strenge, der bruges til at beskrive alt fra forstuvninger til hjerteanfald. Store sprogmodeller, såsom ChatGPT, har ofte svært ved at tildele disse koder korrekt. For at tackle dette implementerede forskerne en metode kaldet “lookup-before-coding”, der først beder AI om at beskrive en diagnose i almindeligt sprog og derefter vælge den mest passende kode fra en liste over virkelige eksempler. Denne tilgang gav en større nøjagtighed, færre fejl og præstation på niveau med eller bedre end mennesker.
Forskerholdet anvendte 500 patientbesøg i akutmodtagelsen på Mount Sinai Health System. For hver sag blev lægens noter tilført ni forskellige AI-modeller, herunder små open source-systemer. Modellerne genererede først en indledende ICD-diagnosebeskrivelse. Ved hjælp af en retrieval-metode blev hver beskrivelse matchet med 10 lignende ICD-beskrivelser fra en database med mere end 1 million hospitaljournaler. I et andet trin brugte modellen de hentede oplysninger til at vælge den mest nøjagtige ICD-beskrivelse og kode.
Akutlæger og to uafhængige AI-systemer vurderede kodningsresultaterne uafhængigt, uden information om hvorvidt koderne var genereret af AI eller klinikere. Generelt viste modeller, der brugte retrieval-trinnet, bedre præstation end dem, der ikke gjorde, og de klarede sig endda bedre end lægeudstedte koder i mange tilfælde. Overraskende nok præsterede selv små open source-modeller godt, når de fik mulighed for at “slå op” eksempler.
Girish N. Nadkarni, MD, MPH, udtalte: “Dette handler om smartere støtte, ikke automatisering for automatiseringens skyld. Hvis vi kan reducere den tid, vores læger bruger på kodning, mindske faktureringsfejl og forbedre kvaliteten af vores data med et økonomisk og gennemsigtigt system, er det en stor gevinst for både patienter og udbydere.”
Forfatterne understreger, at denne retrieval-forstærkede metode er designet til at støtte – ikke erstatte – menneskelig overvågning. Selvom metoden ikke endnu er godkendt til fakturering og specifikt blev testet på primære diagnosekoder fra akutte besøg, viser den lovende potentiale for klinisk anvendelse. Forskerne ser på umiddelbare anvendelser, såsom forslag til koder i elektroniske journaler eller flagning af fejl før fakturering.
Forskerne arbejder nu på at integrere metoden i Mount Sinais elektroniske sundhedsjournaler for pilotafprøvning og håber at udvide den til andre kliniske indstillinger og inkludere sekundære og procedurekoder i fremtidige versioner. David L. Reich, MD, Chief Clinical Officer for Mount Sinai Health System, konkluderede: “AI’s potentiale til at transformere, hvordan vi plejer patienter, er stort. Når teknologi letter den administrative byrde for vores læger og andre udbydere, har de mere tid til direkte patientpleje.”