Jeder KI-Agent kann sprechen. Wenige können vertrauenswürdig sein.

Die Notwendigkeit von KI-Agenten im Gesundheitswesen ist dringend. In der gesamten Branche sind überarbeitete Teams mit zeitaufwändigen Aufgaben überlastet, die die Patientenversorgung behindern. Kliniker sind dünn besetzt, die Callcenter der Kostenträger sind überlastet und die Patienten warten auf Antworten zu dringenden Anliegen.

KI-Agenten können helfen, indem sie große Lücken füllen, die Reichweite und Verfügbarkeit von klinischem und administrativem Personal erweitern und den Burnout von Gesundheitspersonal und Patienten gleichermaßen reduzieren. Aber bevor wir das tun können, benötigen wir eine solide Grundlage, um Vertrauen in KI-Agenten aufzubauen. Dieses Vertrauen kommt nicht von einem warmen Tonfall oder konversationeller Flüssigkeit. Es kommt von der Ingenieurskunst.

Selbst wenn das Interesse an KI-Agenten in die Höhe schießt und Schlagzeilen die Versprechungen von agentischen KI verkünden, bleiben die Gesundheitsführer – die gegenüber ihren Patienten und Gemeinden verantwortlich sind – zögerlich, diese Technologie im großen Maßstab einzusetzen. Startups preisen agentische Fähigkeiten an, die von der Automatisierung alltäglicher Aufgaben wie der Terminplanung bis hin zur hochwertigen Patientenkommunikation und -versorgung reichen. Doch die meisten von ihnen haben noch nicht bewiesen, dass diese Interaktionen sicher sind.

Viele von ihnen werden es nie tun.

Die Realität ist, dass jeder ein Sprachagenten auf der Grundlage eines großen Sprachmodells (LLM) starten, ihm einen mitfühlenden Tonfall geben und ein Gespräch skripten kann, das überzeugend klingt. Es gibt viele Plattformen, die ihre Agenten in jeder Branche anpreisen. Ihre Agenten mögen unterschiedlich aussehen und klingen, aber alle verhalten sie sich gleich – anfällig für Halluzinationen, unfähig, kritische Fakten zu überprüfen und ohne Mechanismen, die die Rechenschaftspflicht gewährleisten.

Dieser Ansatz – das Aufbauen einer oft zu dünnen Hülle um ein grundlegendes LLM – kann in Branchen wie Einzelhandel oder Hotellerie funktionieren, aber im Gesundheitswesen versagen. Grundlegende Modelle sind außergewöhnliche Werkzeuge, aber sie sind größtenteils allgemein; sie wurden nicht speziell auf klinische Protokolle, Kostenträger-Richtlinien oder Rechtsvorschriften trainiert. Selbst die eloquentesten Agenten, die auf diesen Modellen aufbauen, können in halluzinatorisches Gebiet abdriften, Fragen beantworten, die sie nicht beantworten sollten, Fakten erfinden oder nicht erkennen, wenn ein Mensch in den Entscheidungsprozess einbezogen werden muss.

Die Folgen dieses Verhaltens sind nicht theoretisch. Sie können Patienten verwirren, die Versorgung behindern und zu teuren menschlichen Nacharbeiten führen. Dies ist kein Intelligenzproblem. Es ist ein Infrastrukturproblem.

Um sicher, effektiv und zuverlässig im Gesundheitswesen zu arbeiten, müssen KI-Agenten mehr als nur autonome Stimmen am anderen Ende des Telefons sein. Sie müssen von Systemen betrieben werden, die speziell für Kontrolle, Kontext und Rechenschaftspflicht konzipiert sind. Aus meiner Erfahrung beim Aufbau dieser Systeme sieht das in der Praxis so aus.

Reaktionskontrolle kann Halluzinationen unmöglich machen

KI-Agenten im Gesundheitswesen können nicht nur plausiblen Antworten generieren. Sie müssen die richtigen Antworten liefern, jedes Mal. Dazu ist ein kontrollierbarer „Aktionsraum“ erforderlich – ein Mechanismus, der es dem KI ermöglicht, natürliche Konversationen zu verstehen und zu erleichtern, aber sicherstellt, dass jede mögliche Antwort durch vordefinierte, genehmigte Logik begrenzt ist.

Mit Reaktionskontrollparametern, die integriert sind, können Agenten nur auf verifizierte Protokolle, vordefinierte Betriebsverfahren und Rechtsvorschriften verweisen. Die Kreativität des Modells wird genutzt, um Interaktionen zu steuern, anstatt Fakten zu improvisieren. So können Gesundheitsführer sicherstellen, dass das Risiko von Halluzinationen vollständig eliminiert wird – nicht durch Testen in einem Pilotprojekt oder einer einzigen Fokusgruppe, sondern durch das Auslegen des Risikos auf dem Boden.

Spezialisierte Wissensgraphen können vertrauenswürdige Austausche gewährleisten

Der Kontext jedes Gesundheitsgesprächs ist tiefgreifend persönlich. Zwei Menschen mit Typ-2-Diabetes können im selben Viertel leben und das gleiche Risikoprofil haben. Ihre Berechtigung für ein bestimmtes Medikament wird je nach medizinischer Vorgeschichte, Behandlungsrichtlinie des Arztes, Versicherungsplan und Formularvorschriften variieren.

KI-Agenten benötigen nicht nur Zugang zu diesem Kontext, sondern müssen auch in der Lage sein, in Echtzeit damit zu argumentieren. Ein spezialisierter Wissensgraph bietet diese Fähigkeit. Es ist eine strukturierte Methode, Informationen aus mehreren vertrauenswürdigen Quellen darzustellen, die es Agenten ermöglicht, zu überprüfen, was sie hören, und sicherzustellen, dass die Informationen, die sie zurückgeben, genau und personalisiert sind. Agenten ohne diese Schicht mögen informiert klingen, aber sie folgen wirklich nur starren Workflows und füllen die Lücken aus.

Robuste Überprüfungssysteme können Genauigkeit bewerten

Ein Patient kann auflegen, nachdem er mit einem KI-Agenten gesprochen hat, und sich zufrieden fühlen, aber die Arbeit für den Agenten ist noch nicht getan. Gesundheitsorganisationen benötigen die Gewissheit, dass der Agent nicht nur korrekte Informationen produziert hat, sondern auch die Interaktion verstanden und dokumentiert hat. Dort kommen automatisierte Nachbearbeitungssysteme ins Spiel.

Ein robustes Überprüfungssystem sollte jedes Gespräch mit dem gleichen feinen Maßstab an Sorgfalt bewerten, den ein menschlicher Aufseher mit all der Zeit der Welt anwenden würde. Es sollte in der Lage sein, zu erkennen, ob die Antwort genau war, sicherzustellen, dass die richtigen Informationen aufgenommen wurden, und zu bestimmen, ob eine Nachverfolgung erforderlich ist. Wenn etwas nicht stimmt, sollte der Agent in der Lage sein, auf einen Menschen umzuschalten, aber wenn alles in Ordnung ist, kann die Aufgabe mit Zuversicht abgeschlossen werden.

Jenseits dieser drei grundlegenden Elemente, die erforderlich sind, um Vertrauen zu schaffen, benötigt jede agentische KI-Infrastruktur einen robusten Sicherheits- und Compliance-Rahmen, der Patientendaten schützt und sicherstellt, dass Agenten innerhalb der regulierten Grenzen arbeiten. Dieser Rahmen sollte die strikte Einhaltung gemeinsamer Branchenstandards wie SOC 2 und HIPAA umfassen, aber auch Prozesse für Bias-Tests, Redaktion von geschützten Gesundheitsinformationen und Datenretention enthalten.

Diese Sicherheitsvorkehrungen erfüllen nicht nur die Anforderungen an die Einhaltung von Vorschriften. Sie bilden das Rückgrat eines vertrauenswürdigen Systems, das sicherstellen kann, dass jede Interaktion auf einem Niveau gehandhabt wird, das Patienten und Anbieter erwarten.

Die Gesundheitsbranche benötigt keine weitere KI-Hype. Sie benötigt zuverlässige KI-Infrastruktur. Im Falle von agentischer KI wird Vertrauen nicht so sehr verdient, als dass es konstruiert wird.

Diese Sicherheitsvorkehrungen erfüllen nicht nur die Anforderungen an die Einhaltung von Vorschriften. Sie bilden das Rückgrat eines vertrauenswürdigen Systems, das sicherstellen kann, dass jede Interaktion auf einem Niveau gehandhabt wird, das Patienten und Anbieter erwarten. Die Gesundheitsbranche benötigt keine weitere KI-Hype. Sie benötigt zuverlässige KI-Infrastruktur. Im Falle von agentischer KI wird Vertrauen nicht so sehr verdient, als dass es konstruiert wird.