Leger foretrakk KI-genererte epikriser i 95% av tilfellene i studie fra Stony Brook

Leger som vurderte epikrisene, foretrakk KI-genererte epikriser fremfor epikriser skrevet av mennesker i 95 % av sykehusoppholdene som ble undersøkt i en studie fra Stony Brook University. Den retrospektive analysen omfattet 60 innleggelser ved indremedisinske avdelinger som varte fra sju til 21 dager. Ved langvarig behandling og store mengder kliniske notater blir overgangen til poliklinisk oppfølging særlig krevende.

Funnene, som er publisert i npj Digital Medicine, tyder på at store språkmodeller kan hjelpe klinikere med å utarbeide mer fullstendige og anvendelige epikriser. De viser også hvorfor menneskelig kontroll fortsatt er avgjørende: Både KI-genererte epikriser og epikriser skrevet av mennesker inneholdt feil, og de høyere vurderingene dokumenterte ikke bedre pasientutfall.

Derfor er epikriser en krevende oppgave for KI

En epikrise knytter behandlingen på sykehuset til klinikerne som har ansvar for den videre oppfølgingen. Den må forklare årsaken til innleggelsen, behandlingsforløpet, endringer i medisineringen, uavklarte problemer og planen for oppfølging. For en fastlege kan manglende forklaringer eller uklare neste steg innebære at sykehusoppholdet må rekonstrueres ut fra en langt mer omfattende journal.

Lengre sykehusopphold forsterker problemet. Informasjon samler seg i journalnotater, konsultasjoner, bildediagnostiske rapporter og annen dokumentasjon, ofte med gjentakelser og endringer i behandlingsplanen. En nyttig epikrise må bevare det endelige kliniske bildet og samtidig forklare hvordan beslutningene utviklet seg.

Stony Brooks tilnærming ble utviklet sammen med klinikere, med utgangspunkt i hvilken informasjon legene som overtar oppfølgingen, trenger. Universitetet opplyser at systemet organiserte pasientjournaler til utkast til epikriser på få minutter. Dette beskriver genereringstiden; effekten på legenes samlede tid til dokumentasjon og kontroll må fortsatt undersøkes i klinisk praksis.

Dette ga legene høyere vurderinger

Studien sammenstilte vurderinger fra sykehusleger og fastleger. Vurdererne ga KI-epikrisene høyere karakterer for samlet kvalitet, lesbarhet og konsishet, faktanøyaktighet og fullstendighet. De fant også færre manglende kliniske opplysninger.

På den oppgitte vurderingsskalaen fra én til fem fikk KI-epikrisene et gjennomsnitt på 4,71 for samlet kvalitet, sammenlignet med 3,16 for epikrisene skrevet av mennesker. Gjennomsnittet for faktanøyaktighet var 4,62 mot 3,73, mens det for fullstendighet var 4,69 mot 3,42. Dette er legevurderinger, ikke prosentandeler av utsagn som er bevist riktige.

Figuren viser 120 vurderinger per epikrisetype for de samlede målene for sykehusleger og fastleger, og 60 per type for spørsmålene som gjaldt fastleger spesielt. Fastlegene vurderte KI-epikrisene høyere når det gjaldt å forstå sykehusoppholdet, forklare det for pasienter og pårørende og støtte videre oppfølging.

Disse forskjellene er viktige fordi den som skriver en epikrise, og den som skal følge den opp, har ulike perspektiver. Et dokument kan gi en grundig beskrivelse av hendelsene under sykehusoppholdet, men likevel etterlate legen som overtar, usikker på uavklarte spørsmål eller begrunnelsen for en endring i medisineringen.

Slik håndterer oppsummeringsløpet lange journaler

Forskernes offentliggjøring av kildekoden gir mer innsikt i teknologien. Den eksporterte LangChain/LangGraph-pipelinen grupperer notater kronologisk, lager en strukturert oppsummering og videreutvikler utkastet etter hvert som den behandler flere tekstbolker. I et eget trinn hentes tilfeldige funn ut fra markerte notater før den endelige teksten utformes.

Denne trinnvise tilnærmingen tar høyde for en praktisk begrensning ved språkmodeller: En lang klinisk journal kan inneholde mer tekst enn modellen klarer å behandle i én omgang. Når et strukturert utkast føres videre, kan nye deler av journalen bidra til resultatet etter hvert.

Den offentlige eksporten registrerer også kildeidentifikatorer og lager referansemetadata sammen med strukturerte utdata og tekstlige oppsummeringer. Den inneholder syntetiske eksempeldata, mens datalageret gir tilgang til avidentifiserte resultater fra vurderinger og feilannoteringer for analyse. Dette gjør det mulig å undersøke arbeidsflyten uten å offentliggjøre de opprinnelige pasientjournalene.

Færre utelatelser fjerner ikke den kliniske risikoen

I det publiserte sammendraget tilskrives det lavere antallet registrerte unøyaktigheter eller utelatelser hovedsakelig færre utelatelser. Det rapporteres ingen statistisk signifikant forskjell mellom de to typene epikriser når det gjelder vurderernes anslag for hvor alvorlig eller sannsynlig skade som følge av feil kan være.

Dette funnet viser ikke at de to tilnærmingene er like trygge, eller at et KI-utkast kan føres inn i en pasientjournal uten kontroll. Evalueringen gjaldt dokumenter og legevurderinger; den viste ikke at antallet reinnleggelser, legemiddelrelaterte skader eller andre negative pasientutfall ble redusert.

Forfatterne understreker at leger må kontrollere dokumentene før de tas i bruk. Instruksjoner om legemidler, uavklarte medisinske spørsmål og anbefalinger om oppfølging er sentrale for dokumentets formål, og feil eller utelatelser på disse områdene kan få konsekvenser.

Hva må på plass før rutinemessig klinisk bruk?

«Disse resultatene viser at kunstig intelligens kan bidra til dokumentasjon ved utskrivning etter komplekse sykehusopphold», sa Rachel Wong, MD, medkorresponderende forfatter og klinisk førsteamanuensis ved Stony Brook, i universitetets kunngjøring.

Medkorresponderende forfatter Fusheng Wang, PhD, sa at de neste forskningsstegene omfatter å vurdere nøyaktighet, sikkerhet, hvor mye tid leger faktisk sparer, og hvor godt løsningen passer inn i kliniske arbeidsflyter. Universitetet opplyser at man vurderer en pilot i den daglige praksisen ved Stony Brook Medicine.

Det tverrfaglige prosjektet, som ledes av Tyler Osborne, doktorgradskandidat i informatikk, samler leger, informatikere, biomedisinske informatikere og kommunikasjonsfaglig kompetanse. Studien gir lovende dokumentasjon på at komplekse utskrivningsrapporter kan utarbeides under klinisk tilsyn. For å fastslå om dette kan fungere pålitelig i den daglige bruken, må man evaluere gjennomgangsprosessen sammen med den genererte teksten.