Patrick Leung, CTO von Faro Health – Interview-Serie

Patrick Leung, CTO von Faro Health, treibt die AI-gestützte Plattform des Unternehmens voran, die die Gestaltung von klinischen Studienprotokollen vereinfacht und beschleunigt. Die Tools von Faro Health verbessern die Effizienz, Standardisierung und Genauigkeit bei der Planung von klinischen Studien, indem sie datengetriebene Erkenntnisse und optimierte Prozesse integrieren, um die Risiken, Kosten und die Belastung der Patienten zu reduzieren.

Faro Health ermöglicht es klinischen Forschungsteams, optimierte und standardisierte Studienprotokolle schneller zu entwickeln, um die Innovation in der klinischen Forschung voranzutreiben.

Sie haben viele Jahre bei Google (GOOGL ) an der Entwicklung von KI gearbeitet. Welche waren einige der spannendsten Projekte, an denen Sie während Ihrer Zeit bei Google gearbeitet haben, und wie haben diese Erfahrungen Ihre Herangehensweise an die KI geprägt?

Ich war Teil des Teams, das Google Duplex entwickelte, ein konversationales KI-System, das Restaurants und andere Unternehmen im Auftrag des Benutzers anrief. Dies war ein streng geheimes Projekt, das von extrem talentierten Menschen durchgeführt wurde. Das Team war schnelllebig, probierte ständig neue Ideen aus und es gab jede Woche coole Demos der neuesten Dinge, an denen die Leute arbeiteten. Es war sehr inspirierend, in einem solchen Team zu sein.

Eines der vielen Dinge, die ich in diesem Team gelernt habe, ist, dass man manchmal, auch wenn man mit den neuesten KI-Modellen arbeitet, einfach nur clever sein muss, um die gewünschte Benutzeroberfläche und den gewünschten Nutzen zu erzielen. Um hyperrealistische mündliche Konversationen zu generieren, hat das Team Aufnahmen mit Temporisierungen wie “äh” kombiniert, um die Konversation natürlicher klingen zu lassen. Es war so viel Spaß, die Presseberichte über die “ähs” zu lesen, nachdem wir das Projekt gestartet hatten!

Sowohl Sie als auch der CEO von Faro kommen aus großen Technologieunternehmen. Wie hat Ihre Vergangenheit die Entwicklung und Strategie von Faro beeinflusst?

Mehrere Male in meiner Karriere habe ich Unternehmen aufgebaut, die verschiedene Produkte und Dienstleistungen an große Unternehmen verkaufen. Faro zielt auch auf die größten Pharma-Unternehmen ab, also gibt es viel Erfahrung darüber, was es braucht, um große Unternehmen zu überzeugen und mit ihnen zusammenzuarbeiten. Meine Arbeit bei Two Sigma, einem großen algorithmischen Hedgefonds in New York City, hat mich sehr geprägt, wie ich die Datenwissenschaft angehe. Sie haben einen strengen, hypothetischen Prozess, bei dem alle neuen Ideen in einen Forschungsplan aufgenommen und gründlich getestet werden. Sie haben auch eine sehr gut entwickelte Daten-Engineering-Organisation für die Einbindung neuer Datensätze und die Durchführung von Feature-Engineering. Wenn Faro seine KI-Fähigkeiten erweitert, um mehr Probleme bei der klinischen Studienentwicklung anzugehen, wird dieser Ansatz sehr relevant und anwendbar sein.

Faro Health basiert auf der Vereinfachung der Komplexität der klinischen Studienentwurf mit KI. Als Nicht-Mediziner, was war der “Aha-Moment”, der Ihnen half, die spezifischen Schmerzpunkte im Protokoll-Design zu verstehen, die angegangen werden mussten?

Mein erster “Aha-Moment” trat ein, als ich auf das Konzept von “Erooms Law” stieß. Eroom ist nicht eine Person, sondern einfach “Moore” rückwärts geschrieben. Dieser scherzhafte Name ist eine Anspielung auf die Tatsache, dass sich die inflationsbereinigten Kosten und Zeiten für die klinische Arzneimittelentwicklung in den letzten 50 Jahren etwa alle 9 Jahre verdoppelt haben. Dies widerspricht der gesamten Informationstechnologie-Revolution und hat mich einfach nur verblüfft. Es hat mich wirklich davon überzeugt, dass es hier ein enormes Problem zu lösen gibt!

Als ich mich tiefer in dieses Gebiet einarbeitete und die zugrunde liegenden Probleme besser verstand, gab es viele weitere Erkenntnisse wie diese. Eine grundlegende und sehr offensichtliche Erkenntnis ist, dass Word-Dokumente nicht das beste Format sind, um komplexe klinische Studien zu entwerfen und zu speichern! Dies ist eine Schlussfolgerung, die auf der klinischen Erfahrung unseres CEO Scott basiert, auf der Faro aufbaut. Es gibt auch die Beobachtung, dass Studien im Laufe der Zeit immer komplexer werden, da klinische Studienteams wörtlich Protokolle aus der Vergangenheit kopieren und dann neue Bewertungen hinzufügen, um mehr Daten zu sammeln. Unsere Plattform bietet Benutzern so viele wertvolle Erkenntnisse wie möglich, so früh wie möglich im Studienentwurfsprozess, was ein wichtiger Mehrwert für Faro ist.

Welche Rolle spielt die KI in Faros Plattform, um eine schnellere und genauere klinische Studienprotokoll-Entwurf zu gewährleisten? Wie unterscheidet sich Faros “KI-Co-Autor”-Tool von anderen generativen KI-Lösungen?

Es mag offensichtlich klingen, aber man kann nicht einfach ChatGPT bitten, ein klinisches Studienprotokoll-Dokument zu erstellen. Zunächst einmal benötigt man sehr spezifische, strukturierte Studieninformationen, wie den Zeitplan der Aktivitäten, der in den technischen Abschnitten des Protokoll-Dokuments detailliert dargestellt werden muss. Zweitens gibt es viele Details und spezifische Klauseln, die in der Dokumentation für bestimmte Arten von Studien vorhanden sein müssen, und einen bestimmten Stil und Detaillierungsgrad, der von medizinischen Schriftstellern und Prüfern erwartet wird. Bei Faro haben wir ein eigenes Protokoll-Bewertungssystem entwickelt, um sicherzustellen, dass der Inhalt, den das große Sprachmodell (LLM) erstellt, den hohen Standards für Domänen-Spezifität und Qualität entspricht, die unsere Benutzer erwarten.

Wie stellt Faro sicher, dass die KI die spezialisierten Anforderungen von Studien für seltene Krankheiten und Immunonkologie erfüllt, ohne die Genauigkeit oder Qualität zu beeinträchtigen?

Ein Modell ist nur so gut wie die Daten, auf denen es trainiert wurde. Wenn also die Grenzen der modernen Medizin voranschreiten, müssen wir mit dem Training und Testen unserer Modelle mit den neuesten klinischen Studien Schritt halten. Dies erfordert, dass wir unsere Bibliothek von digitalisierten klinischen Protokollen kontinuierlich erweitern – wir sind sehr stolz auf den Umfang der klinischen Studienprotokolle, die wir bereits in unsere Datenbibliothek bei Faro aufgenommen haben, und wir priorisieren ständig das Wachstum dieses Datensatzes. Es erfordert auch, dass wir stark auf unser internes Team von klinischen Experten setzen, die die Ausgabe unseres Modells ständig bewerten und gegebenenfalls Änderungen an den “Bewertungs-Checklisten” vornehmen, die wir verwenden, um seine Genauigkeit und Qualität sicherzustellen.

Wie trägt Faros Partnerschaft mit Veeva und anderen führenden Unternehmen dazu bei, den gesamten Studienprozess, von der Protokoll-Entwurf bis zur Ausführung, zu rationalisieren?

Das Herzstück einer klinischen Studie ist das Protokoll, das Faros Study Designer hilft, Kunden zu entwerfen und zu optimieren. Das Protokoll informiert alles, was in der Studie weiter unten passiert, aber traditionell werden Protokolle in Word-Dokumenten entworfen und gespeichert. Ein großes Problem bei der Operationalisierung der klinischen Entwicklung heute ist die ständige Transkription oder “Übersetzung” von Daten aus dem Protokoll oder anderen dokumentbasierten Quellen in andere Systeme oder sogar andere Dokumente. Wie man sich vorstellen kann, ist es sehr ineffizient, wenn Menschen manuell dokumentbasierte Informationen in verschiedene Systeme übertragen, und es bietet viele Möglichkeiten für Fehler auf dem Weg.

Faros Vision ist eine einheitliche Plattform, auf der die “Definition” oder Elemente einer klinischen Studie aus dem Design-System, in dem sie zunächst konzipiert werden, in die verschiedenen Systeme oder während der Betriebsphase der Studie fließen können. Wenn eine solche nahtlose Informationsfluss in Kraft ist, gibt es eine erhebliche Möglichkeit für Automatisierung und verbesserte Qualität, was bedeutet, dass wir die Zeit und Kosten für die Gestaltung und Implementierung einer klinischen Studie dramatisch reduzieren können. Unsere Partnerschaft mit Veeva, um unseren Study Designer mit Veeva Vault EDC zu verbinden, ist nur ein Schritt in diese Richtung, mit noch mehr zu kommen.

Welche sind einige der wichtigsten Herausforderungen, denen die KI bei der Vereinfachung klinischer Studien gegenübersteht, und wie überwindet Faro diese, insbesondere im Hinblick auf die Gewährleistung von Transparenz und die Vermeidung von Problemen wie Voreingenommenheit oder Halluzination in KI-Ausgaben?

Es gibt eine viel höhere Latte für klinische Studien-Dokumente als in den meisten anderen Bereichen. Diese Dokumente betreffen das Leben realer Menschen und passieren daher einen sehr strengen regulatorischen Überprüfungsprozess. Als wir zum ersten Mal klinische Dokumente mit einem LLM generierten, war klar, dass die Ausgabe mit Standardmodellen nirgendwo nahe daran war, die Erwartungen zu erfüllen. Überraschenderweise war der Ton, der Detaillierungsgrad, die Formatierung – alles – völlig falsch und viel mehr auf allgemeine Geschäftskommunikation ausgerichtet als auf klinische Dokumente von Expertenqualität. Es gab sicherlich Halluzinationen und auch das schlichte Weglassen notwendiger Details als große Herausforderungen. Um eine generative KI-Lösung zu entwickeln, die den hohen Standard für Domänen-Spezifität und Qualität erfüllen konnte, den unsere Benutzer erwarten, mussten wir viel Zeit damit verbringen, mit klinischen Experten zusammenzuarbeiten, um Richtlinien und Bewertungs-Checklisten zu entwickeln, die sicherstellten, dass unsere Ausgabe nicht halluzinierte oder einfach notwendige Details wegließ und den richtigen Ton hatte. Wir mussten auch die Fähigkeit bieten, dass Endbenutzer ihre eigene Anleitung und Korrekturen an die Ausgabe geben konnten, da unterschiedliche Kunden unterschiedliche Vorlagen und Standards haben, die ihre Dokumentenerstellung leiten.

Wie sehen Sie die Zukunft der KI in klinischen Studien? Welche Rolle wird Faro in der digitalen Transformation dieses Bereichs in den nächsten zehn Jahren spielen?

Im Laufe der Zeit wird die KI dazu beitragen, mehr und mehr Entscheidungen und Prozesse im klinischen Entwicklungsprozess zu verbessern und zu optimieren. Wir werden in der Lage sein, wichtige Ergebnisse auf der Grundlage von Protokoll-Design-Eingaben vorherzusagen, wie z.B., ob das Studienteam mit Einschreibeschwierigkeiten rechnen kann oder ob die Studie eine Änderung aufgrund von betrieblichen Herausforderungen erfordern wird. Mit dieser Art von vorhersehbarer Erkenntnis werden wir in der Lage sein, die nachgelagerten Betriebsabläufe der Studie zu optimieren, um sicherzustellen, dass das Studienteam und die Patienten die beste Erfahrung haben und dass die Studie eine hohe operative Erfolgsquote hat. Neben der Erforschung dieser Möglichkeiten plant Faro auch, eine Reihe von verschiedenen klinischen Dokumenten zu erstellen, um sicherzustellen, dass alle Einreichungs- und Verwaltungsprozesse der Studie effizient und fehlerfrei sind. Und wir sehen eine Welt, in der die KI unsere Plattform zu einem echten Design-Partner macht, der klinische Wissenschaftler in einen generativen Dialog einbezieht, um Studien zu entwerfen, die die richtigen Kompromisse zwischen Patientenbelastung, Standortbelastung, Zeit, Kosten und Komplexität finden.

Wie wirkt sich Faros Fokus auf patientenorientiertes Design auf die Effizienz und den Erfolg klinischer Studien aus, insbesondere in Bezug auf die Reduzierung der Patientenbelastung und die Verbesserung der Studienzugänglichkeit?

Klinische Studien sind oft zwischen den konkurrierenden Bedürfnissen nach der Sammlung von mehr Teilnehmerdaten – was bedeutet, dass mehr Bewertungen oder Tests für den Patienten durchgeführt werden müssen – und der Bewältigung der operativen Machbarkeit einer Studie, wie z.B. ihrer Fähigkeit, Teilnehmer zu rekrutieren und zu halten. Aber die Patientenrekrutierung und -bindung sind einige der größten Herausforderungen für den erfolgreichen Abschluss einer klinischen Studie heute – nach Schätzungen werden bis zu 20-30% der Patienten, die sich für eine klinische Studie entscheiden, letztendlich aufgrund der Belastung durch die Teilnahme, einschließlich häufiger Besuche, invasiver Verfahren und komplexer Protokolle, aus der Studie ausscheiden. Obwohl klinische Forschungsteams sich der Auswirkungen von Studien mit hoher Belastung auf Patienten bewusst sind, kann es in der Praxis schwierig sein, etwas Konkretes zu unternehmen, um die Belastung zu reduzieren. Wir glauben, dass eine der Barrieren für die Reduzierung der Patientenbelastung oft die Unfähigkeit ist, sie leicht zu quantifizieren – es ist schwierig, die Auswirkungen auf Patienten zu messen, wenn Ihr Design in einem Word-Dokument oder einer PDF-Datei ist.

Mit Faros Study Designer können klinische Entwicklungs-Teams Echtzeit-Einblicke in die Auswirkungen ihres spezifischen Protokolls auf die Patientenbelastung während des Protokoll-Planungsprozesses selbst erhalten. Durch die Strukturierung von Studien und die Bereitstellung analytischer Einblicke in die Kosten, die Patientenbelastung, die Komplexität zu einem frühen Zeitpunkt in der Entwurfsphase ermöglicht Faro klinischen Forschungsteams eine sehr effektive Möglichkeit, ihre Studien-Designs durch die Abwägung dieser Faktoren gegen wissenschaftliche Bedürfnisse zu optimieren. Unsere Kunden lieben die Tatsache, dass wir ihnen Einblicke in die Patientenbelastung und damit verbundene Metriken an einem Punkt in der Entwicklung bieten, an dem Änderungen leicht vorzunehmen sind, und sie fundierte Entscheidungen treffen können, wo erforderlich. Letztendlich haben wir gesehen, dass unsere Kunden Tausende von Stunden kollektiver Patientenzeit gespart haben, was wir wissen, wird einen sofortigen positiven Einfluss auf die Studienteilnehmer haben und auch dazu beitragen, dass klinische Studien sowohl initiiert als auch rechtzeitig abgeschlossen werden können.

Welchen Rat würden Sie Start-ups oder Unternehmen geben, die KI in ihre klinischen Studienprozesse integrieren möchten, basierend auf Ihren Erfahrungen bei Google und Faro?

Hier sind die wichtigsten Erkenntnisse, die ich bisher aus unserer Erfahrung mit der Anwendung von KI in diesem Bereich gewonnen habe:

1. Teilen und bewerten Sie Ihre KI-Prompts. Große Sprachmodelle wie GPT sind nicht dafür ausgelegt, klinische Dokumente von Expertenqualität zu erstellen. Wenn Sie also planen, gen KI zu verwenden, um klinische Studien-Dokumente zu automatisieren, müssen Sie einen Bewertungsrahmen haben, der sicherstellt, dass die generierte Ausgabe genau, vollständig, den richtigen Detaillierungsgrad und den richtigen Ton hat und so weiter. Dies erfordert umfangreiche Tests des Modells unter der Leitung von klinischen Experten.
2. Verwenden Sie eine strukturierte Darstellung einer Studie. Es gibt keine Möglichkeit, die erforderlichen Datenanalysen zu generieren, um eine optimale klinische Studie zu entwerfen, ohne ein strukturiertes Repository. Viele Unternehmen verwenden heute Word-Dokumente – nicht einmal Excel! –, um klinische Studien zu modellieren. Dies muss mit einem strukturierten Domänenmodell durchgeführt werden, das die Komplexität einer Studie genau darstellt – ihr Schema, Ziele und Endpunkte, Zeitplan der Bewertungen und so weiter. Dies erfordert viel Input und Feedback von klinischen Experten.
3. Klinische Experten sind für die Qualität unerlässlich. Wie in den beiden vorherigen Punkten zu sehen ist, ist es absolut entscheidend, klinische Experten direkt in die Gestaltung und das Testen jedes KI-basierten klinischen Entwicklungssystems einzubinden. Dies ist viel mehr der Fall als in jedem anderen Bereich, in dem ich gearbeitet habe, einfach weil das erforderliche Wissen so spezialisiert, detailliert und allgegenwärtig ist, wenn man ein Produkt in diesem Bereich entwickelt.

Wir sind ständig bemüht, neue Dinge auszuprobieren und teilen unsere Erkenntnisse regelmäßig auf unserem Blog, um Unternehmen zu helfen, sich in diesem Bereich zurechtzufinden.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Faro Health besuchen.