Ittai Dayan, MD, Mitgründer und CEO von Rhino Health – Interview-Serie

Ittai Dayan, MD, ist der Mitgründer und CEO von Rhino Health. Sein Hintergrund liegt in der Entwicklung von künstlicher Intelligenz und Diagnostik sowie in der klinischen Medizin und Forschung. Er ist ein ehemaliges Kernmitglied der Healthcare-Praxis von BCG und ein ehemaliger Krankenhausleiter. Derzeit konzentriert er sich darauf, zur Entwicklung sicherer, gerechter und wirksamer künstlicher Intelligenz im Gesundheits- und Lebenswissenschaftssektor beizutragen. Bei Rhino Health nutzen sie verteilte Rechenleistung und Federated Learning, um die Patientenprivatsphäre zu wahren und die Zusammenarbeit über die fragmentierte Gesundheitslandschaft hinweg zu fördern.

Er diente in den Spezialeinheiten der israelischen Verteidigungskräfte, leitete das größte akademisch-medizinische Zentrum für Translationale KI der Welt. Er ist ein Experte für die Entwicklung und Kommerzialisierung von KI und ein Langstreckenläufer.

Können Sie die Entstehungsgeschichte hinter Rhino Health teilen?

Meine Reise in die KI begann, als ich Kliniker und Forscher war und eine frühe Form eines “digitalen Biomarkers” verwendete, um die Behandlungsreaktion bei psychischen Störungen zu messen. Später leitete ich das Center for Clinical Data Science (CCDS) am Mass General Brigham. Dort überwachte ich die Entwicklung von Dutzenden klinischer KI-Anwendungen und sah mit eigenen Augen die zugrunde liegenden Herausforderungen, die mit dem Zugriff auf und der “Aktivierung” der notwendigen Daten für die Entwicklung und Schulung von regulatorischen KI-Produkten verbunden sind.

Trotz der vielen Fortschritte im Bereich der Gesundheits-KI ist der Weg von der Entwicklung bis zur Markteinführung eines Produkts lang und oft holprig. Lösungen brechen (oder enttäuschen einfach) einmal ab, wenn sie klinisch eingesetzt werden, und die Unterstützung des gesamten KI-Lebenszyklus ist fast unmöglich ohne kontinuierlichen Zugriff auf eine Vielzahl klinischer Daten. Die Herausforderung hat sich von der Erstellung von Modellen zu deren Wartung verlagert. Um dieser Herausforderung zu begegnen, überzeugte ich das System von Mass General Brigham von dem Wert, ein eigenes “spezialisiertes CRO für KI” (CRO = Clinical Research Organization) zu haben, um Algorithmen von mehreren kommerziellen Entwicklern zu testen.

Das Problem blieb jedoch bestehen – Gesundheitsdaten sind immer noch sehr isoliert, und selbst große Datenmengen aus einem Netzwerk reichen nicht aus, um die immer schmaler werdenden Ziele der medizinischen KI zu bekämpfen. Im Sommer 2020 initiierte und leitete ich (zusammen mit Dr. Mona Flores von NVIDIA (NVDA )) die weltweit größte Studie zu Gesundheits-Federated Learning (FL) zu diesem Zeitpunkt, EXAM. Wir verwendeten FL, um ein COVID-Prognosemodell zu erstellen, das Daten aus der ganzen Welt nutzte, ohne dass Daten geteilt wurden. Diese Studie, die später in Nature Medicine veröffentlicht wurde, zeigte die positive Wirkung der Nutzung diverser und disparater Datensätze und unterstrich das Potenzial für eine weit verbreitetere Nutzung von Federated Learning im Gesundheitswesen.

Diese Erfahrung hat jedoch eine Reihe von Herausforderungen aufgezeigt. Dazu gehörten die Koordination von Daten über kooperierende Standorte, die Gewährleistung der Datenrückverfolgbarkeit und -charakterisierung sowie die Belastung der IT-Abteilungen jeder Institution, die lernen mussten, bahnbrechende Technologien zu verwenden, mit denen sie nicht vertraut waren. Dies erforderte eine neue Plattform, die diese neuen “verteilt Daten”-Zusammenarbeiten unterstützen würde. Ich entschied mich, mich mit meinem Mitgründer Yuval Baror zusammenzutun, um eine Plattform für die Unterstützung von datenschutzfreundlichen Zusammenarbeiten zu schaffen. Diese Plattform ist die “Rhino Health Plattform”, die FL und Edge-Computing nutzt.

Warum glauben Sie, dass KI-Modelle oft nicht die erwarteten Ergebnisse in einem Gesundheitsumfeld liefern?

Medizinische KI wird oft auf kleine, enge Datensätze trainiert, wie z.B. Datensätze aus einer einzigen Institution oder einem geografischen Gebiet, was dazu führt, dass das resultierende Modell nur auf den Arten von Daten funktioniert, die es gesehen hat. Sobald der Algorithmus auf Patienten oder Szenarien angewendet wird, die sich von dem engen Trainingsdatensatz unterscheiden, wird die Leistung stark beeinträchtigt.

Andrew Ng hat dies gut formuliert, als er sagte: “Es stellt sich heraus, dass wenn wir Daten aus dem Stanford-Krankenhaus sammeln… wir Veröffentlichungen vorlegen können, die zeigen, dass [die Algorithmen] mit menschlichen Radiologen bei der Erkennung bestimmter Zustände vergleichbar sind. … [Wenn] man dasselbe Modell, dasselbe KI-System, in ein älteres Krankenhaus in der Nähe bringt, mit einer älteren Maschine und der Techniker ein slightly anderes Bildgebungsprotokoll verwendet, driftet diese Daten so sehr, dass die Leistung des KI-Systems erheblich beeinträchtigt wird.” ³

Einfach ausgedrückt, werden die meisten KI-Modelle nicht auf Daten trainiert, die ausreichend vielfältig und von hoher Qualität sind, was zu einer schlechten “realen Welt”-Leistung führt. Diese Problematik wurde sowohl in wissenschaftlichen als auch in Mainstream-Kreisen gut dokumentiert, wie in Science und Politico.

Wie wichtig ist das Testen auf diverse Patientengruppen?

Das Testen auf diverse Patientengruppen ist entscheidend, um sicherzustellen, dass das resultierende KI-Produkt nicht nur effektiv und leistungsfähig, sondern auch sicher ist. Algorithmen, die nicht auf ausreichend vielfältige Patientengruppen trainiert oder getestet werden, können unter algorithmischem Bias leiden, ein ernstes Problem im Gesundheitswesen und in der Gesundheitstechnologie. Solche Algorithmen werden nicht nur die im Trainingsdatensatz vorhandenen Vorurteile widerspiegeln, sondern diese auch verschärfen und bestehende Ungleichheiten im Gesundheitswesen verschlimmern. Das Versäumnis, auf diverse Patientengruppen zu testen, kann zu gefährlichen Produkten führen.

Ein kürzlich veröffentlichtes Studie ⁵, das die Rhino Health Plattform nutzte, untersuchte die Leistung eines KI-Algorithms zur Erkennung von Hirnaneurysmen, das an einem Standort entwickelt wurde, auf vier verschiedenen Standorten mit verschiedenen Scannertypen. Die Ergebnisse zeigten eine erhebliche Leistungsvariabilität auf Standorten mit verschiedenen Scannertypen und betonten die Bedeutung des Trainings und Testens auf vielfältigen Datensätzen.

Wie identifizieren Sie, ob eine Subpopulation nicht repräsentiert ist?

Ein gängiger Ansatz besteht darin, die Verteilungen von Variablen in verschiedenen Datensätzen zu analysieren, einzeln und kombiniert. Dies kann Entwickler sowohl bei der Vorbereitung von “Trainings”-Datensätzen als auch von Validierungsdatensätzen informieren. Die Rhino Health Plattform ermöglicht es Ihnen, dies zu tun, und darüber hinaus können Benutzer sehen, wie das Modell auf verschiedenen Kohorten funktioniert, um die Verallgemeinerbarkeit und die nachhaltige Leistung über Subpopulationen hinweg zu gewährleisten.

Können Sie beschreiben, was Federated Learning ist und wie es einige dieser Probleme löst?

Federated Learning (FL) kann allgemein als der Prozess definiert werden, bei dem KI-Modelle trainiert und dann über die Zeit hinweg verbessert werden, indem sie disparate Daten nutzen, ohne dass Daten geteilt oder zentralisiert werden müssen. Dies ist ein großer Schritt nach vorne in der KI-Entwicklung. Historisch gesehen musste jeder Benutzer, der mit mehreren Standorten zusammenarbeiten wollte, diese Daten zusammenfassen, was eine Vielzahl von aufwändigen, teuren und zeitaufwändigen rechtlichen, Risiko- und Compliance-Anforderungen induzierte.

Heute wird FL mit Software wie der Rhino Health Plattform zur täglichen Realität im Gesundheits- und Lebenswissenschaftssektor. Federated Learning ermöglicht es Benutzern, Daten zu erkunden, zu kuratieren und zu validieren, während diese Daten auf den lokalen Servern der Kollaborateure verbleiben. Containerisierter Code, wie z.B. ein KI-/ML-Algorithmus oder eine analytische Anwendung, wird an den lokalen Server gesendet, wo die Ausführung dieses Codes, wie z.B. das Training oder die Validierung eines KI-/ML-Algorithmus, “lokal” durchgeführt wird. Daten bleiben somit immer bei dem “Datenhüter”.

Krankenhäuser insbesondere sind besorgt über die Risiken, die mit der Zusammenführung sensibler Patientendaten verbunden sind. Dies hat bereits zu peinlichen Situationen geführt, in denen es offensichtlich wurde, dass Gesundheitsorganisationen mit der Industrie zusammengearbeitet haben, ohne genau zu verstehen, wie ihre Daten verwendet werden. Als Folge davon limitieren sie die Menge an Zusammenarbeit, die sowohl die Industrie als auch akademische Forscher durchführen können, was die Forschung und Entwicklung im Gesundheitssektor verlangsamt und die Produktqualität beeinträchtigt. FL kann dies mildern und Datenzusammenarbeiten wie nie zuvor ermöglichen, während es die mit diesen Zusammenarbeiten verbundenen Risiken kontrolliert.

Können Sie die Vision von Rhino Health für die schnelle Modellerstellung durch die Nutzung vielfältigerer Daten teilen?

Wir stellen uns eine Ökosystem von KI-Entwicklern und -Benutzern vor, die ohne Angst oder Einschränkung zusammenarbeiten, während sie die Grenzen der Vorschriften respektieren. Kollaborateure können schnell notwendige Trainings- und Testdaten aus verschiedenen geografischen Regionen identifizieren, auf diese Daten zugreifen und mit ihnen interagieren und die Modellentwicklung iterieren, um sicherzustellen, dass ausreichende Verallgemeinerbarkeit, Leistung und Sicherheit gewährleistet sind.

Im Mittelpunkt davon steht die Rhino Health Plattform, die einen “Ein-Stop-Shop” für KI-Entwickler bietet, um massive und vielfältige Datensätze zu konstruieren, KI-Algorithmen zu trainieren und zu validieren und kontinuierlich eingesetzte KI-Produkte zu überwachen und zu warten.

Wie verhindert die Rhino Health Plattform KI-Bias und bietet KI-Erklärbarkeit?

Indem sie Datenzusammenarbeiten entsperrt und strukturiert, können KI-Entwickler größere, vielfältigere Datensätze für das Training und Testen ihrer Anwendungen nutzen. Das Ergebnis sind robustere Datensätze, die zu einem allgemeineren Produkt führen, das nicht von den Vorurteilen einer einzigen Institution oder eines engen Datensatzes belastet ist. Zur Unterstützung der KI-Erklärbarkeit bietet unsere Plattform einen klaren Einblick in die während des Entwicklungsprozesses genutzten Daten, mit der Möglichkeit, Datenursprünge, Verteilungen von Werten und andere wichtige Metriken zu analysieren, um ausreichende Datenvielfalt und -qualität zu gewährleisten. Darüber hinaus ermöglicht unsere Plattform Funktionalitäten, die nicht möglich sind, wenn Daten einfach zusammengefasst werden, wie z.B. die Möglichkeit, Datensätze mit zusätzlichen Variablen zu erweitern, wie z.B. solchen, die aus bestehenden Datenpunkten berechnet werden, um kausale Inferenz und Konfounder zu untersuchen und zu mildern.

Wie reagieren Sie auf Ärzte, die besorgt sind, dass eine Überbetonung der KI zu voreingenommenen Ergebnissen führen könnte, die nicht unabhängig validiert sind?

Wir teilen diese Besorgnis und erkennen, dass eine Reihe von Anwendungen auf dem Markt heute tatsächlich voreingenommen sein können. Unsere Antwort ist, dass wir als Branche, als Gesundheitsgemeinschaft, die in erster Linie mit der Patientensicherheit besorgt ist, zusammenkommen müssen, um Richtlinien und Verfahren zu definieren, um solche Vorurteile zu verhindern und sicherzustellen, dass KI-Anwendungen sicher und effektiv sind. KI-Entwickler haben die Verantwortung, sicherzustellen, dass ihre auf dem Markt angebotenen KI-Produkte unabhängig validiert sind, um das Vertrauen von Gesundheitsfachleuten und Patienten zu gewinnen. Rhino Health ist darauf bedacht, sicherzustellen, dass KI-Produkte sicher und vertrauenswürdig sind, und arbeitet mit Partnern zusammen, um die unabhängige Validierung von KI-Anwendungen vor der Bereitstellung in klinischen Umgebungen zu ermöglichen und zu straffen, indem sie die Barrieren für die notwendigen Validierungsdaten beseitigt.

Was ist Ihre Vision für die Zukunft der KI im Gesundheitswesen?

Rhino Healths Vision ist eine Welt, in der KI ihr volles Potenzial im Gesundheitswesen erreicht hat. Wir arbeiten eifrig daran, Transparenz zu schaffen und Zusammenarbeit zu fördern, indem wir die Privatsphäre wahren, um diese Welt zu ermöglichen. Wir stellen uns vor, dass Gesundheits-KI nicht durch Firewalls, geografische oder regulatorische Einschränkungen begrenzt ist. KI-Entwickler werden kontrollierten Zugriff auf alle Daten haben, die sie benötigen, um leistungsfähige, allgemeingültige Modelle zu erstellen – und diese kontinuierlich mit einem Datenfluss in Echtzeit zu überwachen und zu verbessern. Anbieter und Patienten werden das Vertrauen haben, dass sie die Kontrolle über ihre Daten nicht verlieren und sicherstellen können, dass diese für das Gute verwendet werden. Regulierungsbehörden werden in der Lage sein, die Wirksamkeit von Modellen, die in der pharmazeutischen und Geräteentwicklung verwendet werden, in Echtzeit zu überwachen. Gesundheitsorganisationen werden von diesen Fortschritten in der KI profitieren, während Patienten und Anbieter ruhig schlafen können, weil sie wissen, dass die Privatsphäre geschützt ist.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Rhino Health besuchen.