Google veröffentlicht ein Framework mit mehreren Methoden zur Bewertung von KI im Gesundheitswesen

Google kündigte am 4. November 2026 ein Whitepaper an, das darlegt, wie das Unternehmen universell einsetzbare generative KI im Gesundheitswesen bewertet. Das Framework kombiniert Benchmarks mit geschlossenen Fragen, KI-gestützte automatische Bewertungen und die Begutachtung durch menschliche Fachleute, um Genauigkeit, Sicherheit und Nützlichkeit in gängigen und risikoreichen Szenarien zu beurteilen.

Die Autorin, Dr. Sarah Montgomery-Taylor, leitet bei Google for Health die klinische Evaluation; Dr. Elizabeth McGlynn und Dr. Dana Gelb Safran wirkten an der Arbeit mit. Google zufolge hat das Unternehmen den Ansatz entwickelt und nutzt ihn weiterhin, um zu beurteilen, ob seine Modelle nützliche und genaue Antworten liefern, die eine sichere Interaktion im Gesundheitsbereich unterstützen. Mit der Veröffentlichung der Methodik soll Transparenz gefördert und Entwicklerinnen und Entwicklern, Forschenden sowie Klinikpersonal dabei geholfen werden, vertrauenswürdige Werkzeuge zu entwickeln.

Bewertung an der klinischen Praxis ausrichten

Die Autoren argumentieren, dass Bewertungsmethoden für einzelne, klar abgegrenzte Aufgaben universell einsetzbare Modelle nicht angemessen erfassen. Als Beispiel nennen sie ein Modell aus der Zeit vor der generativen KI, das Lungenkrebs auf einer CT-Aufnahme erkennen kann, aber weder Brustkrebs auf einer Mammografie erkennt noch ein Gespräch zu einer Notiz zusammenfassen kann. Wenn ein einzelnes Modell Hunderte, Tausende oder noch mehr Aufgaben übernehmen kann, benötigen Entwickler und Gesundheitsorganisationen eine Möglichkeit, Interaktionen und Risiken zu priorisieren.

Bevor sie Testfälle auswählen, erstellen die Evaluierenden eine Übersicht über die kritische Nutzerreise: Wer nutzt das System, was möchte die Person erreichen und welche Schritte sind dafür erforderlich? Zu den Nutzenden können Patientinnen und Patienten, Familienangehörige, Klinikpersonal oder Verwaltungsangestellte gehören. Diese Übersicht dient als Grundlage für repräsentative Testdaten und Kennzahlen. Sie berücksichtigt außerdem die beabsichtigte Nutzung und gängige Formen des Missbrauchs, darunter die Nutzung außerhalb der zugelassenen Indikation und Versuche, Sicherheitsfilter zu umgehen.

Anschließend wird jede Anwendung in drei Bereichen bewertet. Bei der Genauigkeit geht es um den medizinischen Konsens, die Beleglage, die sachliche Richtigkeit, die klinische Schlussfolgerungsfähigkeit und die Angemessenheit im jeweiligen Kontext; bei Aufgaben wie medizinischen Zusammenfassungen wird zusätzlich der Quellenbezug berücksichtigt. Bei der Sicherheit zählt nicht nur, ob Aussagen korrekt sind, sondern auch, welcher Schaden entstehen könnte, wenn jemand eine Antwort interpretiert und danach handelt – oder nicht handelt. Die Bewertungen berücksichtigen sowohl die Schwere als auch die Wahrscheinlichkeit eines solchen Schadens. Bei der Nützlichkeit geht es um Gesundheitskompetenz, Relevanz, Vollständigkeit und darum, ob jemand auf Grundlage der Antwort handeln kann. Eine Antwort kann daher zwar korrekt, aber unsicher sein oder zwar korrekt und sicher, aber für die nutzende Person zu komplex oder nicht umsetzbar und deshalb wenig hilfreich.

Die Beispiele im Papier zeigen, wie sich das Hauptrisiko je nach Aufgabe verändert. Bei einer Person, die als Verbraucherin oder Verbraucher Symptome überprüft, besteht die zentrale Sicherheitsgefahr darin, dass Warnsymptome, die eine dringende Behandlung erfordern, nicht hervorgehoben werden. Eine übermäßig alarmierende Antwort kann stattdessen unnötige Angst auslösen, während unklare Hinweise zur Selbsteinschätzung angemessene nächste Schritte erschweren können. Bei einer von KI erstellten Entlassungszusammenfassung für eine Ärztin oder einen Arzt gefährden Halluzinationen, Auslassungen und sachliche Fehler die Genauigkeit; übersehene Allergien oder kontraindizierte Medikamente stellen Sicherheitsrisiken dar, und unübersichtliche Formatierung oder widersprüchliche Zeitangaben können die Nützlichkeit mindern.

Automatisierte Skalierbarkeit mit menschlichem Urteilsvermögen verbinden

Bei der ersten Bewertungsmethode kommen Tests mit eindeutigen Antworten zum Einsatz, etwa Multiple-Choice-Fragen. So lassen sich umfangreiche Prüfungen des Grundwissens vergleichsweise kostengünstig durchführen. Statische Tests können die Komplexität und Repräsentativität realer Interaktionen nicht abbilden. Eine weitere Einschränkung ist die Verunreinigung der Daten: Wenn Testfragen in den Trainingsdaten vorkommen, können die Ergebnisse eher die Vorbereitung auf den Test als verallgemeinerbare medizinische Schlussfolgerungsfähigkeit widerspiegeln. Das Framework nutzt diese Benchmarks daher, um eine Ausgangsbasis zu schaffen und spätere Bewertungen auszurichten. Zur Validierung der Leistung in der Praxis sind zusätzliche Methoden erforderlich.

Bei der zweiten Methode übernimmt ein weiteres KI-System die Bewertung. Diese automatischen Bewertungssysteme wenden schriftliche Bewertungsmaßstäbe auf offene Antworten an und ermöglichen so die Prüfung deutlich mehr Szenarien, als Fachleute sinnvollerweise bewerten könnten. Sie können simulierte mehrteilige Gespräche beurteilen, in denen Nutzende zunächst klinische Einzelheiten zurückhalten. So wird geprüft, ob das Modell vor einer Empfehlung zunächst Rückfragen stellt. Automatisierte Bewertungen müssen weiterhin anhand von Referenzdaten validiert werden, die von Fachleuten erstellt wurden, da sie ausführliche Antworten bevorzugen, Antworten aus der eigenen Modellfamilie besser bewerten und fehlerhafte menschliche Annotationen weitertragen können.

Anschließend prüfen Ärztinnen und Ärzte sowie andere Fachleute die Fälle, in denen automatisierte Bewertungsmaßstäbe am wenigsten zuverlässig sind, darunter komplexe Krankheitsbilder, Grenzfälle und Themen mit begrenztem klinischem Konsens. Sie beurteilen außerdem, ob die Ausgabe den lokalen klinischen Gepflogenheiten und den Bedürfnissen unterschiedlicher Patientengruppen entspricht. In separaten Red-Team-Tests werden die Sicherheitsgrenzen mit Taktiken wie emotionalen Bitten, fiktiven Szenarien oder dem Auftreten als medizinisches Fachpersonal geprüft, um eine Ausgabe zu provozieren, die über den vorgesehenen Einsatzbereich eines Produkts hinausgeht. Auch menschliche Bewertungen sind fehlbar: Die Autoren weisen darauf hin, dass zwei Ärztinnen oder Ärzte bei einer Bewertungsaufgabe um 30–40 % oder mehr voneinander abweichen können. Daher sind Maßnahmen zur Kontrolle der Bewertungsunterschiede und eine angemessene Analyse erforderlich.

Die Überwachung wird nach der Einführung fortgesetzt

Die Bewertung beginnt, bevor ein Produkt überhaupt existiert: Zunächst werden die allgemeinen Fähigkeiten und die Sicherheit des Basismodells getestet. Sobald das Modell in eine Anwendung integriert wird, richtet sich die Bewertung gezielt nach den Nutzenden und Arbeitsabläufen dieses Produkts. Kurz vor der Veröffentlichung kann ein kontrollierter Einsatz stille Schattenläufe, klinische Pilotprojekte oder eine schrittweise Einführung umfassen. Hinzu kommen vor einer breiteren Verfügbarkeit Tests zu menschlichen Faktoren und zur Gebrauchstauglichkeit.

Klinische Teams und Entwicklungsteams müssen an jeder Produktfreigabe gemeinsam Bestehensschwellen und Gewichtungen des Bewertungsrasters festlegen – ausgehend vom klinischen Risikoprofil der Anwendung und nicht von universellen oder willkürlichen numerischen Grenzwerten. Nach der Bereitstellung verfolgen Entwickler algorithmische Drift und die Systemstabilität. Einrichtungen, die die Produkte einsetzen, überwachen bei professionellen Werkzeugen die Sicherheit klinischer Arbeitsabläufe und bei Verbraucherprodukten die Sicherheit der Nutzer sowie Nutzungsmuster.

Die Autoren erklären, dass reaktive Signale wie Nutzerbeschwerden und schwerwiegende unerwünschte Ereignisse die Überwachung nach der Bereitstellung nicht allein gewährleisten können. Testdatensätze unterscheiden sich von Interaktionen in der Praxis, und Nutzer passen ihre Eingaben und Erwartungen mit zunehmender Erfahrung an. Erkenntnisse aus der Überwachung müssen in Anforderungen, Schulungen und die Prioritäten nachfolgender Evaluierungen einfließen. Die längerfristige Überwachung von Interaktionen und Gesundheitsergebnissen stößt auf Datensilos sowie auf Hindernisse in den Bereichen Datenschutz, Technik und Organisation. Das Papier nennt außerdem gemeinsame Verantwortlichkeiten von Entwicklern und Gesundheitssystemen, Implementierungskosten, unabhängige Validierung und wissenschaftlichen Konsens als noch zu leistende Governance-Aufgaben.

Für Entwickler und Gesundheitssysteme verlagert das Rahmenwerk die Frage weg davon, ob ein Modell einen statischen Benchmark bestanden hat, hin zu der Frage, ob sich Genauigkeit, Sicherheit und Nutzen während der gesamten Entwicklung und Bereitstellung nachweisen lassen. Die zentrale Herausforderung ist praktischer Natur: Überwachung mit Rechenschaftspflicht zu verknüpfen und dabei Zuständigkeiten festzulegen, die Arbeit zu finanzieren und Ergebnisse unabhängig über Organisations- und Datengrenzen hinweg zu validieren.