Forskere fra National Taiwan University og Harvard T.H. Chan School of Public Health har nyligt offentliggjort en undersøgelse, der sætter fokus på pålideligheden af generative AI-chatbots i behandling af apopleksi. Studiet viser, at selv de mest avancerede chatbot-modeller, herunder ChatGPT-4o, Claude 3 Sonnet og Gemini Ultra 1.0, ofte giver suboptimale råd vedrørende forebyggelse, diagnose, behandling og genopretning efter apopleksi. Dette understreger behovet for menneskelig overvågning for at sikre korrekthed og sikkerhed i behandlingen af patienter med apopleksi, som fortsat er en af de vigtigste årsager til død og handicap globalt.
Forskningsteamet stillede typiske kliniske præsentationer af apopleksipatienter op og formulerede spørgsmål baseret på de mest almindelige patienthenvendelser i klinisk praksis. Disse spørgsmål dækkede fire stadier af apopleksibehandling: forebyggelse, tidlig symptomgenkendelse, akut behandling og rehabilitering, og blev udviklet i samarbejde med kliniske eksperter.
Undersøgelsen omfattede forskellige prompting-strategier som Zero-Shot Learning, Chain-of-Thought og Talking Out Your Thoughts, og fire erfarne specialister vurderede AI-modellernes svar på præcision, hallucinationer, specificitet, empati og handlingsdygtighed. Resultaterne viste, at det gennemsnitlige score for modellerne lå mellem 48 og 56, hvilket var en forbedring i forhold til tidligere rapporter, men stadig under det kliniske kompetencetærskel på 60. Selvom modellerne nåede eller let overskred 60 i nogle tilfælde, især når de blev parret med visse prompting-metoder, var der ingen konsistente resultater, og modellerne havde især vanskeligheder med akut behandlingsspørgsmål.
Forskningens hovedforfatter, John Tayu Lee, påpeger, at generativ AI har potentiale til at mindske sundhedsgab, især i mindre privilegerede områder, men understreger, at AI ikke kan erstatte menneskelig ekspertise i kritiske medicinske situationer. Prof. Rifat Atun tilføjer, at mens generativ AI kan forbedre global sundhed, bør disse løsninger implementeres ansvarligt, med solid governance og streng klinisk validering.
Dr. Wei Jou Duh, CEO for NTU AI Research Center, bemærker, at AI ændrer sundhedsvæsenet verden over og kan kombinere avanceret computerteknologi med medicinsk viden for at imødekomme reelle kliniske behov. På trods af de nuværende begrænsninger af AI i akut behandling, giver denne forskning et vigtigt grundlag for evaluering af fremtidige modeller.