Læger foretrak AI-genererede udskrivningsresumeer i 95% af tilfældene i Stony Brook-studie

Læger, der gennemgik materialet, foretrak AI-genererede udskrivningsresumeer frem for tilsvarende resumeer skrevet af mennesker i 95 % af de hospitalsindlæggelser, der blev evalueret i et studie fra Stony Brook University. Den retrospektive analyse fokuserede på 60 indlæggelser på en internmedicinsk afdeling, der varede fra syv til 21 dage, hvor længerevarende behandling og store mængder kliniske notater gør overgangen til ambulant behandling særligt krævende.

Resultaterne, der blev offentliggjort i npj Digital Medicine, tyder på, at store sprogmodeller kan hjælpe klinikere med at udarbejde mere fuldstændige og anvendelige udskrivningsdokumenter. De viser også, hvorfor menneskelig kontrol fortsat er afgørende: Både AI-genererede resumeer og resumeer skrevet af mennesker indeholdt fejl, og de højere vurderinger dokumenterede ikke bedre patientresultater.

Derfor er udskrivningsresumeer en vanskelig opgave for AI

Et udskrivningsresume forbinder den behandling, patienten har fået på hospitalet, med de klinikere, der har ansvaret for det videre forløb. Det skal forklare årsagen til indlæggelsen, behandlingsforløbet, ændringer i medicineringen, uafklarede problemer og planen for opfølgning. For en praktiserende læge kan en manglende forklaring eller et uklart næste skridt betyde, at lægen må rekonstruere indlæggelsesforløbet ud fra en langt større journal.

Længere indlæggelser forstærker problemet. Oplysningerne hober sig op i statusnotater, konsultationer, billeddiagnostiske rapporter og anden dokumentation, ofte med gentagelser og ændringer i behandlingsplanen. Et brugbart resume skal bevare det endelige kliniske billede og samtidig forklare, hvordan beslutningerne udviklede sig.

Stony Brooks tilgang blev udviklet sammen med klinikere med udgangspunkt i de oplysninger, som de læger, der modtager patienterne, har brug for. Universitetet oplyser, at systemet organiserede patientjournaler i udkast til udskrivningsresumeer på få minutter. Det beskriver tiden til at generere resumeet; virkningen på lægernes samlede tidsforbrug til dokumentation og kontrol skal stadig afprøves i klinisk praksis.

Det vurderede lægerne højest

Studiet sammenholdt vurderinger fra hospitalslæger og praktiserende læger. Bedømmerne gav AI-resumeerne højere karakterer for den overordnede kvalitet, læsbarhed og kortfattethed, faktuelle nøjagtighed og fuldstændighed. De fandt også færre manglende kliniske oplysninger.

På den anvendte femtrinsskala fik AI-resumeerne i gennemsnit 4,71 for den overordnede kvalitet sammenlignet med 3,16 for resumeer skrevet af mennesker. Den faktuelle nøjagtighed fik i gennemsnit 4,62 mod 3,73, mens fuldstændigheden fik 4,69 mod 3,42. Det er lægernes vurderinger, ikke procentandele af udsagn, der er bevist korrekte.

Grafikken viser 120 vurderinger for hver resumetype for de samlede mål for hospitalslæger og praktiserende læger samt 60 for hver type for spørgsmålene specifikt rettet mod praktiserende læger. De praktiserende læger vurderede AI-resumeerne højere med hensyn til at forstå indlæggelsesforløbet, forklare det for patienter og pårørende samt understøtte opfølgende behandling.

Disse forskelle er vigtige, fordi den person, der skriver et udskrivningsresume, og den person, der handler på baggrund af det, har forskellige perspektiver. Et dokument kan beskrive hændelserne under indlæggelsen grundigt og alligevel efterlade den modtagende kliniker i tvivl om uafklarede forhold eller begrundelsen for en ændring i medicineringen.

Sådan håndterer opsummeringsprocessen lange journaler

Forskernes offentliggørelse af kildekoden giver mere indsigt i teknologien. Den eksporterede LangChain/LangGraph-proces samler notater kronologisk, opbygger et struktureret resume og forbedrer udkastet, efterhånden som den behandler flere tekstafsnit. Et særskilt trin udtrækker tilfældige fund fra markerede notater, før den endelige tekst udformes.

Denne trinvise tilgang håndterer en praktisk begrænsning ved sprogmodeller: En lang klinisk journal kan indeholde mere tekst, end en model kan behandle på én gang. Når et struktureret udkast føres videre, kan successive dele af journalen bidrage til resultatet.

Den offentlige eksport registrerer også kildeidentifikatorer og genererer citatmetadata sammen med strukturerede resultater og løbende tekst. Den indeholder syntetiske demonstrationsdata, mens repositoriet stiller afidentificerede resultater af vurderinger og fejlannoteringer til rådighed for analyse. Det gør det muligt at undersøge arbejdsgangen uden at offentliggøre de oprindelige patientjournaler.

Færre udeladelser fjerner ikke den kliniske risiko

Ifølge det offentliggjorte resumé skyldes det lavere antal annoterede unøjagtigheder eller udeladelser primært færre udeladelser. Det rapporterer ingen statistisk signifikant forskel mellem de to resumetyper i bedømmernes vurdering af alvoren eller sandsynligheden af skade som følge af fejl.

Dette resultat dokumenterer ikke, at de to tilgange er lige sikre, eller at et AI-udkast er klar til at blive føjet til en patientjournal uden kontrol. Evalueringen vedrørte dokumenter og lægers vurderinger; den dokumenterede ikke færre genindlæggelser, færre medicinrelaterede skader eller bedre patientresultater på andre måder.

Forfatterne understreger, at læger skal kontrollere dokumenterne, før de tages i brug. Medicinanvisninger, uafklarede medicinske problemstillinger og anbefalinger om opfølgning er centrale for dokumentets formål og er fortsat områder, hvor fejl eller udeladelser kan få konsekvenser.

Hvad skal der til, før det kan bruges rutinemæssigt i klinikken?

»Disse resultater viser, at kunstig intelligens kan understøtte udarbejdelsen af udskrivningsdokumentation for komplekse hospitalsophold,« sagde Rachel Wong, MD, medkorresponderende forfatter og klinisk lektor ved Stony Brook, i universitetets meddelelse.

Den medkorresponderende forfatter Fusheng Wang, ph.d., sagde, at de næste forskningsskridt omfatter vurdering af nøjagtighed, sikkerhed, den faktiske tidsbesparelse for læger og hvor godt løsningen passer ind i kliniske arbejdsgange. Universitetet oplyser, at man overvejer et pilotprojekt i den daglige praksis på Stony Brook Medicine.

Det tværfaglige projekt, der ledes af Tyler Osborne, ph.d.-studerende i datalogi, samler læger, dataloger, biomedicinske informatikere og kommunikationsfaglig ekspertise. Studiet giver opmuntrende evidens for, at komplekse udskrivningsresuméer kan udarbejdes under klinikeres supervision. For at fastslå, hvordan det kan omsættes til pålidelig daglig brug, er det nødvendigt at evaluere gennemgangsprocessen sideløbende med den genererede tekst.