Ungeprüfte LLMs und das Compliance-Dilemma im Gesundheitswesen

Über Branchen hinweg hat die generative KI (GenAI) in relativ kurzer Zeit rasche Durchbrüche erzielt. Diese Fortschritte werden von Grundmodellen angetrieben, die The California Report on Frontier AI Policy als “eine Klasse von allgemeinen Technologien definiert, die ressourcenintensiv sind und erhebliche Mengen an Daten und Rechenleistung erfordern, um Fähigkeiten zu erzeugen, die eine Vielzahl von Downstream-KI-Anwendungen antreiben können.”

Diese allgemeinen großen Sprachmodelle (LLMs), wie Gemini und ChatGPT, zeigen eine wachsende Fähigkeit, menschliche kognitive Fähigkeiten in Bereichen wie Datenanalyse, Schreiben und Argumentation zu replizieren und zu übertreffen. Im Gesundheitswesen insbesondere steigt die GenAI-Adoption, da Kliniker und andere Gesundheitsfachleute auf die Technologie setzen, um die administrative Belastung zu reduzieren, den Betrieb zu beschleunigen und sogar die klinische Entscheidungsfindung zu unterstützen.

Die Technologie bietet jedoch auch ein großes Versprechen, und die GenAI-Adoption im Gesundheitswesen birgt Schlüsselrisiken, wenn sie nicht verantwortungsvoll umgesetzt oder genutzt wird. Insbesondere birgt die Verwendung allgemeiner LLMs spezifische Compliance-Risiken, die Gesundheitsorganisationen vollständig verstehen müssen, um Datenschutz- oder Sicherheitsverletzungen zu vermeiden. Diese Modelle können auf unverifizierten Datenquellen basieren, Patientengesundheitsinformationen auf nicht autorisierte Weise nutzen oder Vorurteile und/oder ungenaue Informationen verbreiten.

Um die Privatsphäre der Patientendaten zu wahren, die Einhaltung von Vorschriften zu gewährleisten und teure Risiken zu minimieren, müssen Gesundheitsleiter eine entscheidende Herangehensweise ergreifen, um die tickende Compliance-“Zeitbombe” der “ungesicherten” LLM-Verwendung zu entschärfen.

Aktueller Stand der allgemeinen LLM-Verwendung im Gesundheitswesen

Im Gesundheitswesen nutzen Mitarbeiter zunehmend LLMs, um alltägliche Aufgaben zu unterstützen, von administrativer Arbeit bis hin zur Patientenkommunikation. Multimodale LLMs erweitern diese Anwendungen noch weiter, indem sie Text, Bilder und Audio leicht verarbeiten können. Neben der administrativen Unterstützung sehen wir auch eine Zunahme der Anbieter, die auf die Technologie setzen, um nicht nur Büroarbeiten, sondern auch klinische Aufgaben zu unterstützen.

Diese Modelle zeigen bereits, was einige als beeindruckende Ergebnisse betrachten, mit mehreren Studien, die zeigen, dass die Leistung von LLMs menschliche Fähigkeiten in bestimmten Bereichen erreicht oder sogar übertrifft. Zum Beispiel erreichte das GPT-4-Modell einen Gesamtpunktestand von 86,7 % bei der United States Medical Licensing Examination.

Hybrid-KI ist ein weiterer aufkommender Ansatz für die GenAI-Verwendung im Gesundheitswesen, der maschinelles Lernen (ML) und LLMs kombiniert, um komplexe Analysen durchzuführen und Ergebnisse in einfache Sprache zu übersetzen. Durch die Kombination beider Modelle soll dieser Ansatz die Schwächen von LLMs überwinden, wie Halluzinationen, Ungenauigkeiten und Vorurteile, während er gleichzeitig ihre Stärken nutzt. Agente-KI wird auch zunehmend für ihre Fähigkeit eingesetzt, wichtige Aufgaben ohne menschliche Eingabe zu automatisieren, wie z. B. die Beantwortung von Patientennachrichten oder die Terminplanung.

Jedoch unterstreicht das Potenzial der KI auch die Notwendigkeit einer proaktiveren Governance. Je mehr diese Tools in den Gesundheitsbetrieb eingebettet werden, desto höher sind die Einsätze, um Genauigkeit, Sicherheit und Compliance zu gewährleisten.

Compliance-Risiken von allgemeinen LLMs im Gesundheitswesen

Während die digitale Adoption im Gesundheitswesen eine Vielzahl neuer Möglichkeiten eröffnet hat, hat sie auch wichtige Schwachstellen aufgedeckt. Zwischen dem 1. November 2023 und dem 31. Oktober 2024 erlebte der Gesundheitssektor beispielsweise 1.710 Sicherheitsvorfälle, von denen 1.542 bestätigte Datenoffenlegungen umfassten.

Das Zeitalter der KI vertieft diese Risse und fügt eine neue Schicht der Komplexität bei der Datenschutz- und Sicherheit hinzu. Insbesondere die Verwendung allgemeiner LLMs im Gesundheitswesen wirft mehrere wichtige Compliance-Risiken auf:

Risiko #1: Opaque-Box-Entwicklung verhindert kontinuierliche Überwachung oder Verifizierung

Geschlossene Modelle fehlen die Transparenz über ihren Entwicklungsprozess, wie z. B. welche spezifischen Daten das Modell trainiert wurde oder wie Updates durchgeführt werden. Diese Undurchsichtigkeit verhindert, dass Entwickler und Forscher in das Modell eintauchen, um die Ursache von Sicherheitsrisiken oder Entscheidungsprozessen zu ermitteln. Als Ergebnis können geschlossene LLMs die Verwendung von unverifizierten medizinischen Datenquellen ermöglichen und Sicherheitsverletzungen unkontrolliert lassen.

Risiko #2: Patientendatenleck

LLMs basieren nicht immer auf anonymisierten Patientendaten. Spezielle Prompts oder Interaktionen könnten unbeabsichtigt identifizierbare Gesundheitsinformationen preisgeben, was potenzielle HIPAA-Verletzungen verursachen kann.

Risiko #3: Verbreitung von Vorurteilen und ungenauen Informationen

In einem Experiment injizierten Forscher einen kleinen Prozentsatz falscher Fakten in eine Kategorie des Wissensspeichers eines biomedizinischen Modells, während sie sein Verhalten in allen anderen Bereichen bewahrten. Forscher fanden heraus, dass Fehlinformationen über die Ausgabe des Modells verbreitet wurden, was die Verwundbarkeit von LLMs gegenüber Fehlinformationen unterstreicht.

Jede Mängel, die in Grundmodellen gefunden werden, werden von allen angenommenen Modellen und resultierenden Anwendungen geerbt. Ungleichheiten in den Ausgaben können Gesundheitsungleichheiten verschlimmern, wie z. B. ungenaue Ratschläge für unterrepräsentierte Gruppen.

Risiko #4: Regulatorische Fehlanpassung

Die Verwendung allgemeiner LLMs kann gegen HIPAA, DSGVO oder sich entwickelnde KI-spezifische Vorschriften verstoßen, insbesondere wenn Anbieter die Trainingsdaten nicht validieren können. Diese Risiken werden durch die Verwendung von nicht genehmigten oder nicht überwachten KI-Tools durch Mitarbeiter von Gesundheitsorganisationen oder Schatten-KI noch verstärkt. Laut IBM haben 20 % der befragten Organisationen in allen Branchen einen Sicherheitsvorfall aufgrund von Schatten-KI erlitten.

Letztendlich haben die allgemeinen LLM-Risiken im Gesundheitswesen reale Weltimplikationen, einschließlich rechtlicher Schritte, Rufschädigung, Verlust des Patientenvertrauens und Prozesskosten.

Best Practices: LLM-Leitfäden und Überlegungen

Um GenAI verantwortungsvoll zu adoptieren, müssen Gesundheitsleiter klare Richtlinien festlegen, die Patienten und Organisationen gleichermaßen schützen. Die folgenden Best Practices können Gesundheitsorganisationen helfen, eine Grundlage für verantwortungsvolle, konforme KI-Verwendung zu schaffen:

Best Practice #1: Wählen Sie AI-Technologie sorgfältig

Fordern Sie von Anbietern Klarheit über die Entwicklung und die verwendeten Datenquellen. Priorisieren Sie Tools, die nur expertenvalidierte medizinische Inhalte nutzen, transparente Entscheidungsprozesse haben und keine Patientengesundheitsinformationen für die Modellierung verwenden.

Best Practice #2: Bauen Sie menschliche Sicherheitsvorkehrungen ein

Stellen Sie sicher, dass Kliniker alle AI-generierten Ausgaben überprüfen, die Entscheidungen über die Patientenversorgung beeinflussen könnten. KI kann ein leistungsfähiges Werkzeug sein, aber in einer Branche, die direkt das Leben von Patienten beeinflusst, ist klinische Aufsicht entscheidend, um die verantwortungsvolle Verwendung und die Genauigkeit von AI-gestützten Informationen zu gewährleisten.

Best Practice #3: Schulung und Arbeitskräftebereitschaft

Bilden Sie Kliniker und Mitarbeiter über die Vorteile und Risiken der KI-Verwendung aus, um die Adoption von Schatten-KI zu reduzieren. Gesundheitspersonal navigiert in einem komplexen Arbeitsumfeld, das von Personalmangel und hohen Burnout-Raten geprägt ist. Die Vereinfachung des KI-Bildungsprozesses hilft dabei, die Compliance ohne weitere Belastung des Arbeitspensums zu gewährleisten.

Best Practice #4: Etablieren Sie eine Kultur der Governance

Integrieren Sie Drittbewertungen von AI-Lösungen, um Sicherheit, Zuverlässigkeit und Compliance zu überprüfen. Implementieren Sie ein klares, organisationsweites Rahmenwerk für die AI-Überwachung, das Genehmigung, Nutzung und Überwachung definiert, um das Vertrauen in die Technologie zu stärken und zu verhindern, dass Mitarbeiter auf nicht genehmigte Tools zurückgreifen.

Best Practice #5: Stimmen Sie sich mit der Führung auf AI-Verantwortung ab

Arbeiten Sie mit der Führung zusammen, um vor den sich entwickelnden Vorschriften und Richtlinien der FDA und des ONC zu bleiben. Regulatorische Bemühungen sind auf Landesebene im Gange. Zum Beispiel hat Kalifornien das Transparency in Frontier AI Act eingeführt, das die Risikoaufdeckung, Transparenz und Minderung, insbesondere in Gesundheitseinrichtungen, betont, und es gibt auch das Colorado Artificial Intelligence Act (CAIA), das darauf abzielt, algorithmische Diskriminierung zu verhindern.

Best Practice #6: Kontinuierliche Überwachung und Feedback-Schleifen

Die Verwendung von KI in einem Gesundheitsumfeld sollte nie mit einer “set it and forget it”-Mentalität angegangen werden. Die Einrichtung eines Rahmens für kontinuierliche Überwachung kann helfen, die Genauigkeit von KI-Tools zu gewährleisten, die Rechenschaftspflicht zu stärken und die Compliance über die Zeit zu erhalten.

Best Practice #7: Verfolgen Sie Partnerschaften, um die Überwachung und Forschung zu optimieren

Gesundheitsorganisationen sollten Partnerschaften mit Regulierungsbehörden und dem öffentlichen Sektor nutzen, um die Überwachung zu maximieren, ihre Branchenperspektive zu Sicherheitsstandards beizutragen und Expertenressourcen zu kombinieren.

Aufbau von Vertrauen durch Compliance-Führung

Die Differenzierung von KI-Lösungen im Gesundheitswesen wird zunehmend von der Qualität ihrer Experteninhalt, der Integrität ihrer Bewertungsprozesse und der verantwortungsvollen Integration in klinische Workflows abhängen. Die nächste Phase der KI-Adoption wird weniger von Code und mehr von Compliance-Führung abhängen.

Vertrauen ist ebenso wichtig wie Compliance selbst. Damit die Technologie wirklich effektiv sein kann, müssen Patienten und Anbieter glauben, dass KI sicher und mit hochwertiger, ethischer Versorgung ausgerichtet ist. Compliance-Führung ist ein strategischer Vorteil, nicht nur eine defensive Maßnahme. Zukunftsorientierte Organisationen, die frühzeitig Schutzvorkehrungen ergreifen, bevor schädliche Vorfälle auftreten, werden sich in einer KI-getriebenen Gesundheitszukunft differenzieren.