Ärzte bevorzugten in der Stony-Brook-Studie in 95% der Fälle KI-Entlassungsberichte

Ärztliche Prüfer bevorzugten in 95 % der in einer Studie der Stony Brook University untersuchten Krankenhausaufenthalte KI-generierte Entlassungsberichte gegenüber den von Menschen verfassten. Die retrospektive Analyse umfasste 60 stationäre Aufnahmen in der Inneren Medizin mit einer Dauer von sieben bis 21 Tagen. Bei solchen längeren Behandlungen und umfangreichen klinischen Notizen ist die Übergabe an die ambulante Versorgung besonders anspruchsvoll.

Die in npj Digital Medicine veröffentlichten Ergebnisse deuten darauf hin, dass große Sprachmodelle Ärzten dabei helfen könnten, vollständigere und besser nutzbare Entlassungsberichte zu erstellen. Sie zeigen auch, warum eine Überprüfung durch Menschen weiterhin unerlässlich ist: Sowohl KI-generierte als auch von Menschen verfasste Berichte enthielten Fehler, und bessere Bewertungen belegen nicht, dass sich die Behandlungsergebnisse für Patienten verbessert haben.

Warum Entlassungsberichte für KI eine schwierige Aufgabe sind

Ein Entlassungsbericht verbindet die im Krankenhaus erfolgte Versorgung mit den Ärzten, die für die weitere Behandlung zuständig sind. Er muss den Grund für die Aufnahme, den Behandlungsverlauf, Änderungen bei der Medikation, noch offene Probleme und den Plan für die Nachsorge erläutern. Fehlt einem Hausarzt eine Erklärung oder bleibt der nächste Schritt unklar, muss er den Krankenhausaufenthalt möglicherweise anhand einer viel umfangreicheren Akte rekonstruieren.

Bei längeren Krankenhausaufenthalten verschärft sich dieses Problem. In Verlaufsnotizen, Konsultationen, bildgebenden Befunden und anderen Unterlagen sammeln sich Informationen an, die sich häufig wiederholen oder Änderungen im Behandlungsplan festhalten. Ein hilfreicher Entlassungsbericht muss das abschließende klinische Gesamtbild wiedergeben und zugleich erläutern, wie sich die Entscheidungen im Verlauf entwickelt haben.

Der Ansatz von Stony Brook wurde gemeinsam mit Ärzten entwickelt und auf die Informationen ausgerichtet, die weiterbehandelnde Ärzte benötigen. Die Universität gibt an, dass das System Patientenakten innerhalb weniger Minuten in Entwürfe für Entlassungsberichte umwandelte. Das beschreibt die Erstellungszeit; wie sich das Verfahren auf den gesamten Zeitaufwand der Ärzte für Dokumentation und Überprüfung auswirkt, muss noch im klinischen Alltag untersucht werden.

Wofür die Ärzte bessere Bewertungen vergaben

In der Studie wurden Bewertungen von Krankenhausärzten und Hausärzten zusammengeführt. Die Prüfer bewerteten die KI-Berichte hinsichtlich der Gesamtqualität, Lesbarkeit und Prägnanz, sachlichen Richtigkeit und Vollständigkeit besser. Außerdem stellten sie weniger fehlende klinische Angaben fest.

Auf der vorgegebenen Fünf-Punkte-Bewertungsskala erreichten die KI-Berichte bei der Gesamtqualität durchschnittlich 4,71 Punkte, verglichen mit 3,16 Punkten für von Menschen verfasste Berichte. Bei der sachlichen Richtigkeit lag der Durchschnitt bei 4,62 gegenüber 3,73 Punkten, bei der Vollständigkeit bei 4,69 gegenüber 3,42 Punkten. Dabei handelt es sich um Bewertungen von Ärzten und nicht um Prozentangaben dazu, wie viele Aussagen nachweislich korrekt waren.

Die Grafik weist für die zusammengefassten Bewertungen der Krankenhausärzte und Hausärzte 120 Bewertungen je Berichtstyp aus und für die speziell an Hausärzte gerichteten Fragen 60 Bewertungen je Typ. Die Hausärzte bewerteten die KI-Berichte hinsichtlich des Verständnisses des Krankenhausaufenthalts, der Erläuterung gegenüber Patienten und Angehörigen sowie der Unterstützung bei der Nachsorge besser.

Diese Unterschiede sind wichtig, denn die Person, die einen Entlassungsbericht verfasst, hat eine andere Perspektive als die Person, die sich anschließend darauf stützt. Ein Bericht kann die Ereignisse während des stationären Aufenthalts ausführlich schildern und dennoch bei der weiterbehandelnden Fachkraft Fragen zu offenen Punkten oder zur Begründung einer Medikamentenänderung offenlassen.

Wie die Zusammenfassungspipeline lange Akten verarbeitet

Die öffentliche Veröffentlichung des Codes der Forscher liefert weitere Einblicke in die Technologie. Die exportierte LangChain/LangGraph-Pipeline ordnet Notizen chronologisch, erstellt eine strukturierte Zusammenfassung und überarbeitet den Entwurf, während sie weitere Textabschnitte verarbeitet. In einem separaten Schritt werden vor der Ausformulierung des abschließenden Berichts zusätzliche Befunde aus markierten Notizen extrahiert.

Dieser mehrstufige Ansatz trägt einer praktischen Einschränkung von Sprachmodellen Rechnung: Eine lange klinische Akte kann mehr Text enthalten, als ein Modell in einem Durchgang verarbeiten kann. Wird ein strukturierter Entwurf fortlaufend weitergeführt, können aufeinanderfolgende Teile der Akte in das Ergebnis einfließen.

Der öffentliche Export erfasst außerdem Quellenkennungen und erstellt neben strukturierten Ergebnissen und ausformulierten Texten auch Metadaten zu den Quellenangaben. Er umfasst synthetische Demonstrationsdaten; das Repository stellt zudem für Analysen nicht identifizierbare Bewertungsergebnisse und Fehlerannotationen bereit. So lässt sich der Arbeitsablauf untersuchen, ohne die ursprünglichen Patientenakten öffentlich zugänglich zu machen.

Weniger Auslassungen beseitigen klinische Risiken nicht

Laut dem veröffentlichten Abstract ist die geringere Zahl annotierter Ungenauigkeiten oder Auslassungen vor allem auf weniger Auslassungen zurückzuführen. Bei den Einschätzungen der Prüfer zur Schwere oder Wahrscheinlichkeit von Schäden im Zusammenhang mit Fehlern berichtet die Studie keinen statistisch signifikanten Unterschied zwischen den beiden Berichtstypen.

Dieses Ergebnis belegt weder, dass die beiden Ansätze gleich sicher sind, noch, dass ein KI-Entwurf ohne Überprüfung für die Patientenakte geeignet ist. Untersucht wurden Dokumente und ärztliche Einschätzungen; die Studie wies keine Verringerung von Wiederaufnahmen, medikamentenbedingten Schäden oder anderen negativen Behandlungsergebnissen nach.

Die Autorinnen und Autoren betonen, dass Ärztinnen und Ärzte die Dokumente vor ihrer Verwendung überprüfen müssen. Medikamentenanweisungen, ungeklärte medizinische Fragen und Empfehlungen zur Nachsorge sind für den Zweck des Dokuments zentral und bleiben Bereiche, in denen Fehler oder Auslassungen schwerwiegende Folgen haben können.

Was vor dem routinemäßigen klinischen Einsatz noch zu klären ist

„Diese Ergebnisse belegen, dass künstliche Intelligenz die Entlassungsdokumentation bei komplexen Krankenhausaufenthalten unterstützen kann“, sagte Rachel Wong, MD, Mitkorrespondenzautorin und klinische außerordentliche Professorin an der Stony Brook University, laut einer Mitteilung der Universität.

Der Mitkorrespondenzautor Fusheng Wang, PhD, sagte, zu den nächsten Forschungsschritten gehörten die Bewertung der Genauigkeit und Sicherheit, der tatsächlich eingesparten ärztlichen Arbeitszeit sowie der Eignung für klinische Arbeitsabläufe. Die Universität teilt mit, dass ein Pilotprojekt im klinischen Alltag von Stony Brook Medicine erwogen wird.

Das interdisziplinäre Projekt unter der Leitung von Tyler Osborne, Doktorand im Fach Informatik, bringt Ärztinnen und Ärzte, Informatikerinnen und Informatiker, Fachleute für biomedizinische Informatik sowie Kommunikationsexpertise zusammen. Die Studie liefert ermutigende Belege dafür, dass komplexe Entlassungszusammenfassungen unter klinischer Aufsicht erstellt werden können. Um festzustellen, ob sich dies zuverlässig in der täglichen Praxis umsetzen lässt, muss der Prüfprozess zusammen mit den erstellten Texten bewertet werden.