Protege startet unabhängige Tests für KI im Gesundheitswesen, während Disease Odyssey diagnostische Lücken aufzeigt

Protege startet unabhängige Evaluierungen von KI im Gesundheitswesen und testet dabei Modelle anhand von Patientenfällen, die ihnen zuvor nicht bekannt waren. Der erste Benchmark, Disease Odyssey, zeigt bereits, warum das wichtig ist: Laut dem Unternehmen erkannten führende Modelle Erkrankungen wie Schlafapnoe und Anämie anhand von Krankengeschichten nur in 53 % bis 69 % der Fälle.

Der Start am 21. Oktober umfasst außerdem Evaluierungen gemeinsam mit Xlue AI und Standard Model Biomedicine. Zusammengenommen geben die Ergebnisse Aufschluss über zwei für Krankenhäuser und Entwickler wichtige Fragen: Kann ein Modell aus echten Patientenakten nützliche klinische Hinweise herausarbeiten, und wie viel kostet es, diese Vorhersagen zu erstellen?

Proteges Ansatz besteht darin, einen größeren Teil dieser Bewertung außerhalb der Organisationen vorzunehmen, die die Modelle entwickeln. Das Unternehmen konzipiert, durchführt und bewertet Evaluierungen anhand datenschutzgeschützter Patientenakten und von Klinikern geprüfter Antworten. So können Entwickler Schwächen erkennen, bevor sie weiterreichende Leistungsversprechen machen.

Ein anderer Test als das Beantworten medizinischer Prüfungsfragen

Eine medizinische Frage mit klar angegebener Diagnose unterscheidet sich von einer Krankengeschichte, die sich über mehrere Arztbesuche erstreckt. Symptome entwickeln sich im Laufe der Zeit, Patientenakten können unvollständig sein, und der entscheidende Hinweis kann zwischen weniger relevanten Informationen verborgen liegen. Disease Odyssey konzentriert sich darauf, Erkrankungen anhand solcher Krankengeschichten mit zeitlichem Verlauf bereits vor der Diagnose zu erkennen.

Die angegebene Spanne von 53 % bis 69 % bezieht sich auf die getesteten Fälle und Erkrankungen, nicht auf KI im Gesundheitswesen insgesamt. Proteges Ankündigung enthält nicht genügend Angaben zu den Stichprobengrößen, den genau verglichenen Modellen oder der Unsicherheit der Ergebnisse, um eine umfassendere Rangliste zu rechtfertigen. Sie zeigt jedoch, dass es beim ersten Benchmark des Unternehmens noch erheblichen Verbesserungsbedarf gibt.

„KI im Gesundheitswesen entwickelt sich rasant, aber die Art und Weise, wie wir sie bewerten, hat damit nicht Schritt gehalten“, sagte Bobby Samuels, Mitgründer und CEO von Protege, in der Ankündigung.

Wie Protege Tests und Entwicklung voneinander trennt

Protege beschreibt sein Verfahren als doppelblind: Die Modellentwickler sehen weder die Patientendaten noch die Fragen im Voraus, während Protege die Systeme bewertet, ohne zu wissen, wie sie entwickelt wurden. Hier bezeichnet der Begriff die Gestaltung der Evaluierung und keine randomisierte klinische Studie.

Es ist wichtig, Testmaterial von der Entwicklung fernzuhalten, denn der Kontakt mit Benchmark-Fragen kann die scheinbare Leistung künstlich erhöhen. Ein Modell, das eine Antwort bereits während des Trainings gesehen hat, kann leistungsfähiger wirken, als es ist, wenn es mit einem tatsächlich neuen Fall konfrontiert wird.

Die Plattform zur Evaluierung von KI im Gesundheitswesen des Unternehmens bietet mehrere praktische Kontrollmöglichkeiten. Dazu gehören geschützte, zurückgehaltene Testfälle, versionierte Aufgaben und Bewertungsverfahren sowie die Analyse von Fehlermustern und betroffenen Bevölkerungsgruppen. Durch die Versionierung lassen sich Modellversionen aussagekräftiger vergleichen: Ein höherer Wert ist leichter zu interpretieren, wenn sich Aufgabe und Bewertungsregeln nicht unbemerkt geändert haben.

Die Plattform nutzt verknüpfte Informationen, darunter elektronische Patientenakten, klinische Notizen, Bildgebung, Pathologiebefunde, Abrechnungsdaten und Behandlungsergebnisse. Das Data Lab überführt klinische Fragen in Evaluierungsaufgaben und Referenzantworten. Mit dieser Kombination soll geprüft werden, wie Modelle klinischen Kontext nutzen – und nicht nur, ob sie einzelne medizinische Fakten wiedergeben können.

Spezialisierte Modelle im Vergleich: Leistung und Kosten

Die begleitenden Evaluierungen untersuchen unterschiedliche Aufgaben. Ihre Ergebnisse sollten daher getrennt von denen aus Disease Odyssey betrachtet werden.

In einer Zusammenarbeit mit Standard Model Biomedicine bewertete Protege Vorhersagen zum Überleben bei Brust- und Lungenkrebs sowie zur Zeit bis zur nächsten Behandlung eines Patienten. Das Unternehmen berichtet, dass das spezialisierte Modell mit führenden Systemen konkurrenzfähig war und pro Vorhersage 36- bis 170-mal weniger kostete.

Bei einer separaten Evaluierung des HealthSAW-Modells von Xlue AI wurden künftige Risiken im Zusammenhang mit Krebs, Herz-Kreislauf-Erkrankungen und neurologischen Erkrankungen untersucht. Laut Protege übertraf HealthSAW führende Modelle in 14 von 16 Tests und verursachte pro Patient weniger als 0,1 % ihrer Kosten.

Dabei handelt es sich um aufgabenspezifische Vergleiche, über die Protege berichtet, nicht um den Nachweis, dass ein Modell für jede klinische Umgebung am besten geeignet ist. In der Ankündigung wird die vollständige Kostenmethodik nicht erläutert. Niedrigere Kosten pro Vorhersage könnten wiederholte Screenings oder Analysen in großem Maßstab praktikabler machen. Die Kosten eines Einsatzes hängen jedoch auch von der Integration, der Überwachung und dem Aufwand ab, den fehlerhafte Ergebnisse verursachen.

Evaluierungen müssen mit Modellaktualisierungen Schritt halten

Das umfassendere Geschäft von Protege umfasst die Bereitstellung von Daten für die KI-Entwicklung. Daher ist die Trennung von Entwicklungs- und Evaluierungsdaten ein wichtiger Bestandteil des Ansatzes. In seinen Unterlagen hebt das Unternehmen die Datenherkunft, den kontrollierten Zugriff und aktualisierte Patientenfälle als Möglichkeiten hervor, den Nutzen der Tests langfristig zu erhalten.

Das Unternehmen plant, die Evaluierungen auf Bereiche wie Pathologie, Dermatologie, Onkologie und Verwaltungsabläufe auszuweiten. Ziel ist ein wiederholbares Verfahren, das bei Änderungen an den Modellen erneut durchgeführt werden kann, statt eine einzelne Bewertung dauerhaft einem Produkt zuzuordnen.

Das ist sowohl für Käufer als auch für Entwickler hilfreich. Ein Krankenhaus muss wissen, ob ein aktualisiertes Modell für seine Patientenpopulation und seine Arbeitsabläufe weiterhin geeignet ist. Ein Entwickler braucht mehr als einen Durchschnittswert: Er muss verstehen, bei welchen Fällen das Modell versagt und ob eine Verbesserung in einem Bereich andernorts Schwächen mit sich bringt.

Unabhängige Tests können diese Gespräche konkreter machen, doch die Leistung bei retrospektiven Benchmarks ist nicht dasselbe wie ein nachgewiesener Nutzen in der klinischen Praxis. Prospektive Studien, die Leistung in verschiedenen Patientengruppen, Falsch-Positiv- und Falsch-Negativ-Raten sowie die Auswirkungen auf die Arbeitsbelastung des klinischen Personals bleiben wichtige Bestandteile der Evidenz.

Mit seinem Start stellt Protege Unternehmen im Bereich Gesundheits-KI eine zugespitzte Frage: Wie schneidet das System ab, wenn die Fälle unbekannt sind und jemand anderes den Test festlegt? Der Nutzen des neuen Dienstes wird davon abhängen, wie klar seine Methoden und Ergebnisse Organisationen dabei helfen, diese Frage zu beantworten – und wie zuverlässig die Tests Probleme aufdecken, die bei ausgefeilten Vorführungen unbemerkt bleiben.