Ungeprüfte LLMs und das Compliance-Dilemma im Gesundheitswesen

Branchenübergreifend hat die generative KI (GenAI) in relativ kurzer Zeit rasche Durchbrüche erzielt. Diese Fortschritte werden von Grundmodellen angetrieben, die The California Report on Frontier AI Policy als “eine Klasse von allgemeinen Technologien definiert, die ressourcenintensiv zu produzieren sind und erhebliche Mengen an Daten und Rechenleistung erfordern, um Fähigkeiten zu erzeugen, die eine Vielzahl von nachgelagerten KI-Anwendungen antreiben können.”

Diese allgemeinen, großen Sprachmodelle (LLMs), wie Gemini und ChatGPT, zeigen eine wachsende Fähigkeit, menschliche kognitive Fähigkeiten in Bereichen wie Datenanalyse, Schreiben und Argumentation zu replizieren und zu übertreffen. Im Gesundheitswesen insbesondere steigt die Adoption von GenAI, da Kliniker und andere Gesundheitsfachleute auf die Technologie setzen, um den administrativen Aufwand zu reduzieren, den Betrieb zu beschleunigen und sogar die klinische Entscheidungsfindung zu unterstützen.

Allerdings birgt die Technologie, obwohl sie großes Versprechen bietet, auch Compliance-Risiken, wenn sie nicht verantwortungsvoll implementiert oder genutzt wird. Insbesondere ist die Verwendung allgemeiner LLMs mit spezifischen Compliance-Bedenken verbunden, die Gesundheitsorganisationen vollständig verstehen müssen, um Datenschutz- oder Sicherheitsverletzungen zu vermeiden. Diese Modelle können auf unverifizierten Datenquellen basieren, Patientengesundheitsinformationen auf nicht autorisierte Weise nutzen oder Vorurteile und/oder ungenaue Informationen verbreiten.

Um die Privatsphäre der Patientendaten zu wahren, die Einhaltung von sich entwickelnden Vorschriften zu gewährleisten und teure Risiken zu minimieren, müssen Gesundheitsleiter einen entschlossenen Ansatz verfolgen, um die tickende Compliance-“Zeitbombe” der “ungeschützten” LLM-Verwendung zu entschärfen.

Aktueller Stand der Verwendung allgemeiner LLMs im Gesundheitswesen

Im Gesundheitswesen nutzen das Personal zunehmend LLMs, um alltägliche Aufgaben zu unterstützen, von administrativer Arbeit bis hin zur Patientenkommunikation. Multimodale LLMs erweitern diese Anwendungen weiter, indem sie Text, Bilder und Audio leicht verarbeiten. Zusätzlich zur administrativen Unterstützung sehen wir auch eine Zunahme der Anbieter, die auf die Technologie setzen, um nicht nur Büroarbeiten, sondern auch klinische Aufgaben zu unterstützen.

Diese Modelle zeigen bereits, was einige als beeindruckende Ergebnisse betrachten, mit mehreren Studien, die zeigen, dass die Leistung von LLMs menschliche Fähigkeiten in bestimmten Bereichen erreicht oder sogar übertrifft. Zum Beispiel bestand das GPT-4-Modell die Vereinigten Staaten Medizinische Lizenzprüfung mit einer Gesamtpunktzahl von 86,7%.

Hybrid-KI ist ein weiterer Ansatz für die Verwendung von GenAI im Gesundheitswesen, der maschinelles Lernen (ML) und LLMs kombiniert, um komplexe Analysen durchzuführen und Ergebnisse in einfache Sprache zu übersetzen. Durch die Kombination beider Modelle soll dieser Ansatz die Schwächen von LLMs, wie Halluzinationen, Ungenauigkeiten und Vorurteile, überwinden und gleichzeitig ihre Stärken nutzen. Agentic-KI gewinnt auch an Bedeutung, da sie wichtige Aufgaben ohne menschliche Eingabe automatisieren kann, wie z. B. die Beantwortung von Patientennachrichten oder die Terminplanung.

Allerdings unterstreicht das Potenzial von KI auch die dringende Notwendigkeit einer proaktiveren Governance. Je mehr diese Tools in die Gesundheitsoperationen integriert werden, desto höher sind die Einsätze für die Gewährleistung von Genauigkeit, Sicherheit und Compliance.

Compliance-Risiken allgemeiner LLMs im Gesundheitswesen

Während die digitale Adoption im Gesundheitswesen eine Vielzahl neuer Möglichkeiten eröffnet hat, hat sie auch wichtige Schwachstellen aufgedeckt. Zwischen dem 1. November 2023 und dem 31. Oktober 2024 erlebte der Gesundheitssektor beispielsweise 1.710 Sicherheitsvorfälle, von denen 1.542 bestätigte Datenoffenlegungen umfassten.

Das Zeitalter der KI vertieft diese Risse und fügt eine neue Ebene der Komplexität bei der Datenprivatsphäre und -sicherheit hinzu. Insbesondere die Verwendung allgemeiner LLMs im Gesundheitswesen ruft mehrere wichtige Compliance-Risiken hervor:

Risiko #1: Opaque-Box-Entwicklung verhindert kontinuierliche Überwachung oder Verifizierung

Geschlossene Modelle fehlen Transparenz über ihren Entwicklungsprozess, wie z. B. welche spezifischen Daten das Modell trainiert wurde oder wie Updates durchgeführt werden. Diese Undurchsichtigkeit verhindert, dass Entwickler und Forscher in das Modell eintauchen, um die Ursache von Sicherheitsrisiken oder Entscheidungsprozessen zu bestimmen. Als Ergebnis können geschlossene LLMs die Verwendung unverifizierter medizinischer Datenquellen ermöglichen und Sicherheitsverletzungen unkontrolliert lassen.

Risiko #2: Patientendatenlecks

LLMs basieren nicht immer auf pseudonymisierten Patientendaten. Spezielle Prompts oder Interaktionen könnten unbeabsichtigt identifizierbare Gesundheitsinformationen, potenzielle HIPAA-Verletzungen, preisgeben.

Risiko #3: Verbreitung von Vorurteilen und ungenauen Informationen

In einem Experiment, injizierten Forscher einen kleinen Prozentsatz falscher Fakten in eine Kategorie des Wissensspeichers eines biomedizinischen Modells, während sie sein Verhalten in allen anderen Bereichen bewahrten. Forscher fanden heraus, dass Fehlinformationen über die Modellausgabe verbreitet wurden, was die Anfälligkeit von LLMs für Fehlinformationen unterstreicht.

Jede in den Grundmodellen gefundenen Mängel werden von allen übernommenen Modellen und den resultierenden Anwendungen geerbt. Ungenauigkeiten in den Ausgaben können Gesundheitsungleichheiten verschlimmern, wie z. B. ungenaue Ratschläge für unterrepräsentierte Gruppen.

Risiko #4: Regulatorische Fehlanpassung

Die Verwendung allgemeiner LLMs kann gegen HIPAA, DSGVO oder sich entwickelnde KI-spezifische Vorschriften verstoßen, insbesondere wenn Anbieter die Trainingsdaten nicht validieren können. Diese Risiken werden durch die Verwendung ungenehmigter oder unüberwachter KI-Tools durch Mitarbeiter von Gesundheitsorganisationen oder Schatten-KI noch verschlimmert. Laut IBM litt 20% der befragten Organisationen in allen Branchen unter einem Sicherheitsvorfall aufgrund von Vorfällen im Zusammenhang mit Schatten-KI.

Letztendlich haben die Risiken allgemeiner LLMs im Gesundheitswesen reale Weltimplikationen, einschließlich rechtlicher Schritte, Rufschädigung, Verlust des Patientenvertrauens und Prozesskosten.

Best Practices: LLM-Richtlinien und Überlegungen

Um GenAI verantwortungsvoll zu adoptieren, müssen Gesundheitsleiter klare Schutzmechanismen etablieren, die Patienten und Organisationen gleichermaßen schützen. Die folgenden Best Practices können Gesundheitsorganisationen helfen, eine Grundlage für verantwortungsvolle, konforme KI-Verwendung zu schaffen:

Best Practice #1: Wählen Sie AI-Technologie sorgfältig

Fordern Sie von Anbietern Klarheit über die Entwicklung und die verwendeten Datenquellen. Priorisieren Sie Tools, die nur validierte medizinische Inhalte nutzen, transparente Entscheidungsprozesse haben und auf die Verwendung von Patientengesundheitsinformationen verzichten.

Best Practice #2: Bauen Sie Human-in-the-Loop-Schutzmechanismen

Stellen Sie sicher, dass Kliniker alle AI-generierten Ausgaben überprüfen, die die Behandlungsentscheidungen beeinflussen könnten. KI kann ein leistungsstarkes Werkzeug sein, aber in einer Branche, die direkt Auswirkungen auf das Leben der Patienten hat, ist klinische Aufsicht der Schlüssel zur Gewährleistung verantwortungsvoller Verwendung und Genauigkeit aller AI-unterstützten Informationen.

Best Practice #3: Schulung und Arbeitskräftebereitschaft

Bilden Sie Kliniker und Personal über die Vorteile und Risiken von KI-Verwendung, um die Adoption von Schatten-KI zu reduzieren. Gesundheitspersonal navigiert in einer komplexen Arbeitswelt, die von Personalmangel und hohen Burnout-Raten geprägt ist. Die Vereinfachung des KI-Bildungsprozesses hilft dabei, die Compliance ohne weitere Belastung ihrer Arbeitslast zu gewährleisten.

Best Practice #4: Etablieren Sie eine Kultur der Governance

Integrieren Sie Drittüberprüfungen von KI-Lösungen, um Sicherheit, Zuverlässigkeit und Compliance zu überprüfen. Implementieren Sie gleichzeitig einen klaren, organisationsweiten Rahmen für KI-Überwachung, der Genehmigung, Verwendung und Überwachung definiert, um das Vertrauen in die Technologie zu stärken und das Personal daran zu hindern, auf nicht autorisierte Tools zurückzugreifen.

Best Practice #5: Stimmen Sie sich mit der Führung auf AI-Treuhänderschaft ab

Zusammenarbeiten Sie mit der Führung, um vor den sich entwickelnden Vorschriften sowie den Richtlinien der FDA und des ONC zu bleiben. Regulatorische Bemühungen entstehen auf staatlicher Ebene. Zum Beispiel hat Kalifornien das Transparenzgesetz für Frontier-KI, eingeführt, das Risikoaufklärung, Transparenz und Minderung, insbesondere in Gesundheitseinrichtungen, betont, und es gibt auch das Colorado Artificial Intelligence Act (CAIA),, der darauf abzielt, algorithmische Diskriminierung zu verhindern.

Best Practice #6: Kontinuierliche Überwachung und Feedback-Schleifen

Die Verwendung von KI in einer Gesundheitseinrichtung sollte nie mit der Einstellung “setzen und vergessen” angegangen werden. Die Einrichtung eines Rahmens für kontinuierliche Überwachung kann dazu beitragen, die Genauigkeit von KI-Tools zu gewährleisten, die Verantwortlichkeit zu stärken und die Compliance über die Zeit zu erhalten.

Best Practice #7: Streben Sie Partnerschaften an, um die Überwachung und Forschung zu optimieren

Gesundheitsorganisationen sollten Partnerschaften mit Regulierungsbehörden und dem öffentlichen Sektor nutzen, um die Überwachung zu maximieren, ihre Branchenperspektive zu Sicherheitsstandards beizutragen und Expertenressourcen zu kombinieren.

Aufbau von Vertrauen durch Compliance-Führung

Die Differenzierung von KI-Lösungen im Gesundheitswesen wird zunehmend von der Qualität ihres Experteninhalt, der Integrität ihrer Bewertungsprozesse und der verantwortungsvollen Integration in klinische Arbeitsabläufe abhängen. Die nächste Phase der KI-Adoption wird weniger von Code und mehr von Compliance-Führung abhängen.

Vertrauen ist ebenso wichtig wie Compliance selbst. Damit die Technologie wirklich effektiv ist, müssen Patienten und Anbieter glauben, dass KI sicher und mit hochwertiger, ethischer Versorgung übereinstimmt. Compliance-Führung ist ein strategischer Vorteil, nicht nur ein defensives Maß. Zukunftsorientierte Organisationen, die Schutzmechanismen frühzeitig etablieren, bevor schädliche Vorfälle auftreten, werden sich in einer KI-getriebenen Gesundheitszukunft abheben.