Patrick Leung, CTO van Faro Health – Interview Series

Patrick Leung, CTO van Faro Health, leidt het AI-gebaseerde platform van het bedrijf, dat de ontwerp van klinische proefprotocollen vereenvoudigt en versnelt. De tools van Faro Health verbeteren de efficiëntie, standaardisatie en nauwkeurigheid bij de planning van proeven, door gegevensgestuurde inzichten en gestroomlijnde processen te integreren om proefrisico’s, -kosten en -lasten voor patiënten te verminderen.

Faro Health geeft klinische onderzoeksteams de mogelijkheid om geoptimaliseerde, gestandaardiseerde proefprotocollen sneller te ontwikkelen, waardoor innovatie in klinisch onderzoek wordt bevorderd.

U heeft veel jaar ervaring met het bouwen van AI bij Google (GOOGL ). Wat waren enkele van de meest spannende projecten waar u aan werkte tijdens uw tijd bij Google, en hoe hebben die ervaringen uw aanpak van AI gevormd?

Ik was lid van het team dat Google Duplex bouwde, een conversatie-AI-systeem dat restaurants en andere bedrijven namens de gebruiker belde. Dit was een topgeheim project met extreem getalenteerde mensen. Het team was snel en constant bezig met het uitproberen van nieuwe ideeën, en er waren elke week leuke demos van de nieuwste dingen waar mensen aan werkten. Het was heel inspirerend om deel uit te maken van zo’n team.

Een van de veel dingen die ik op dit team leerde, is dat zelfs als je werkt met de nieuwste AI-modellen, je soms nog steeds moet zijn om de gebruikerservaring en waarde te krijgen die je wilt. Om hyperrealistische mondelinge conversaties te genereren, stikte het team opnamen aan elkaar met tijdelijke onderbrekingen zoals “um” om de conversatie meer natuurlijk te laten klinken. Het was zo leuk om te lezen wat de pers te zeggen had over waarom die “ums” er waren nadat we het hadden gelanceerd!

Beide u en de CEO van Faro komen uit grote technologiebedrijven. Hoe heeft uw voorgaande ervaring de ontwikkeling en strategie van Faro beïnvloed?

Meerdere keren in mijn carrière heb ik bedrijven gebouwd die verschillende producten en diensten verkopen aan grote bedrijven. Faro richt zich ook op de grootste farmaceutische bedrijven ter wereld, dus er is veel ervaring met wat het vergt om grote ondernemingen te winnen en te partneren. Werken bij Two Sigma, een groot algoritme-hedgefonds in New York, heeft echt mijn aanpak van datawetenschap gevormd. Zij hebben een rigoureus hypothese-gedreven proces waarbij alle nieuwe ideeën in een onderzoeksplan worden opgenomen en grondig getest. Zij hebben ook een zeer goed ontwikkelde data-engineeringorganisatie voor het onboarden van nieuwe datasets en het uitvoeren van feature-engineering. Als Faro zijn AI-mogelijkheden verdiept om meer problemen in klinische proefontwikkeling aan te pakken, zal deze aanpak zeer relevant en toepasbaar zijn op wat we doen.

Faro Health is gebouwd rond het vereenvoudigen van de complexiteit van klinische proefontwerp met AI. Komend uit een niet-klinische achtergrond, wat was het “aha-moment” dat u deed begrijpen welke specifieke pijnpunten in protocolontwerp moesten worden aangepakt?

Mijn eerste “aha-moment” gebeurde toen ik het concept van “Eroom’s Law” tegenkwam. Eroom is geen persoon, het is gewoon “Moore” achterstevoren gespeld. Deze tong-in-cheek-naam is een verwijzing naar het feit dat de inflatie-aangepaste klinische geneesmiddelenontwikkelingskosten en -tijdslijnen in de afgelopen 50 jaar ongeveer elke 9 jaar zijn verdubbeld. Dit gaat in tegen de hele informatietechnologie-revolutie, en het verbaasde me echt. Het overtuigde me ervan dat er een enorm probleem is om op te lossen!

Terwijl ik dieper in dit domein doordrong en begon de onderliggende problemen beter te begrijpen, waren er veel meer inzichten zoals deze. Een fundamenteel en zeer voor de hand liggend inzicht is dat Word-documenten geen goede formaat zijn om complexe klinische proeven te ontwerpen en op te slaan! Dit is een belangrijke observatie, gebaseerd op de klinische ervaring van onze CEO Scott, waarop Faro is gebouwd. Er is ook de observatie dat proeven in de loop van de tijd steeds complexer worden, omdat klinische studieteam letterlijk kopieert en plakt uit eerdere protocollen en vervolgens nieuwe beoordelingen toevoegt om meer gegevens te verzamelen. Het bieden van gebruikers zo veel mogelijk waardevolle inzichten, zo vroeg mogelijk in het studieontwerpproces, is een belangrijke waardepropositie voor Faro.

Wat is de rol van AI in Faro’s platform om klinische proefprotocollen sneller en nauwkeuriger te maken? Hoe onderscheidt Faro’s “AI Co-Author”-tool zich van andere generatieve AI-oplossingen?

Het klinkt misschien voor de hand liggend, maar je kunt niet zomaar aan ChatGPT vragen om een klinisch proefprotocoldocument te genereren. Ten eerste moet je zeer specifieke, gestructureerde proefinformatie hebben, zoals de planning van activiteiten, om de juiste informatie in de technische secties van het protocoldocument te kunnen weergeven. Ten tweede zijn er veel details en specifieke clausules die aanwezig moeten zijn in de documentatie voor bepaalde soorten proeven, en een bepaalde stijl en niveau van detail dat door medisch schrijvers en beoordelaars wordt verwacht. Bij Faro hebben we een eigen protocolbeoordelingsysteem gebouwd om ervoor te zorgen dat de inhoud die het grote taalmodel (LLM) genereert, aan de hoge standaarden van onze gebruikers en toezichthouders voldoet.

Terwijl proeven voor zeldzame ziekten en immuno-oncologie complexer worden, hoe zorgt Faro ervoor dat AI aan deze gespecialiseerde eisen voldoet zonder afbreuk te doen aan de nauwkeurigheid of kwaliteit?

Een model is alleen zo goed als de gegevens waarop het is getraind. Dus terwijl de grenzen van de moderne geneeskunde zich uitbreiden, moeten we daarbij aansluiten door onze modellen te trainen en te testen met de nieuwste klinische proeven. Dit vereist dat we onze bibliotheek van gedigitaliseerde klinische protocollen voortdurend uitbreiden – we zijn erg trots op het volume aan klinische proefprotocollen dat we al in onze datalibrary bij Faro hebben gebracht, en we geven prioriteit aan de groei van deze dataset. Het vereist ook dat we zwaar leunen op ons in-house team van klinische experts, die constant de output van ons model evalueren en eventuele noodzakelijke wijzigingen aanbrengen in de “evaluatiecontrolelijsten” die we gebruiken om de nauwkeurigheid en kwaliteit ervan te garanderen.

Faro’s partnership met Veeva en andere toonaangevende bedrijven integreert uw platform in het bredere klinische proefecosysteem. Hoe helpen deze samenwerkingen het hele proefproces te stroomlijnen, van protocolontwerp tot uitvoering?

Het hart van een klinische proef is het protocol, dat Faro’s Study Designer helpt bij het ontwerpen en optimaliseren. Het protocol bepaalt alles wat daarna komt in de proef, maar traditioneel worden protocollen ontworpen en opgeslagen in Word-documenten. Daarom is een van de grote uitdagingen bij het operationaliseren van klinische ontwikkeling vandaag de dag de constante overdracht of “vertaling” van gegevens van het protocol of andere documentgebaseerde bronnen naar andere systemen of zelfs andere documenten. Zoals u zich kunt voorstellen, is het hebben van mensen die handmatig documentgebaseerde informatie in verschillende systemen overtypen, enorm inefficiënt en biedt het veel kansen voor fouten onderweg.

Faro’s visie is een geïntegreerd platform waarin de “definitie” of elementen van een klinische proef kunnen stromen van het ontwerpsysteem waarin ze voor het eerst worden bedacht, naar beneden naar verschillende systemen of nodig tijdens de operationele fase van de proef. Wanneer deze soort naadloze informatie-uitwisseling op zijn plaats is, is er een significante kans op automatisering en kwaliteitsverbetering, wat betekent dat we de tijd en kosten voor het ontwerpen en implementeren van een klinische proef aanzienlijk kunnen verminderen. Onze samenwerking met Veeva om onze Study Designer te verbinden met Veeva Vault EDC is slechts een stap in deze richting, met nog veel meer te komen.

Wat zijn enkele van de belangrijkste uitdagingen waar AI voor staat bij het vereenvoudigen van klinische proeven, en hoe overwint Faro deze uitdagingen, met name op het gebied van transparantie en het voorkomen van problemen zoals vooroordelen of hallucinaties in AI-uitvoer?

Er is een veel hogere drempel voor klinische proefdocumenten dan in de meeste andere domeinen. Deze documenten hebben invloed op het leven van echte mensen en gaan door een zeer veeleisend toezichtproces. Toen we voor het eerst klinische documenten gegenereerd met een LLM, was het duidelijk dat de uitvoer met standaardmodellen nergens in de buurt kwam van de verwachtingen. De toon, het detailniveau, de opmaak – alles – was verkeerd, en was veel meer gericht op algemene zakelijke communicatie dan op expertklinische documenten van hoge kwaliteit. Zeker hallucinaties en ook gewoonweg weglating van noodzakelijke details waren grote uitdagingen. Om een generatieve AI-oplossing te ontwikkelen die kon voldoen aan de hoge standaard voor domeinspecifieke kwaliteit die onze gebruikers verwachten, moesten we veel tijd besteden aan het samenwerken met klinische experts om richtlijnen en evaluatiecontrolelijsten te ontwikkelen die ervoor zorgden dat onze uitvoer niet hallucineerde of noodzakelijke details wegliet, en de juiste toon had. We moesten ook de capaciteit bieden voor eindgebruikers om hun eigen richtlijnen en correcties aan de uitvoer te geven, aangezien verschillende klanten verschillende sjablonen en standaarden hebben die hun documentauteursproces leiden.

Kijkend naar de toekomst, hoe ziet u AI evolueren in de context van klinische proeven? Wat zal de rol van Faro zijn in de digitale transformatie van deze ruimte in de komende tien jaar?

Naarmate de tijd verstrijkt, zal AI helpen om meer en meer beslissingen en processen in de klinische ontwikkeling te verbeteren en optimaliseren. We zullen in staat zijn om belangrijke resultaten te voorspellen op basis van protocolontwerpingangen, zoals of het studieteam problemen met inschrijving kan verwachten, of of de studie een amendement zal vereisen vanwege operationele uitdagingen. Met dat soort voorspellende inzichten zullen we in staat zijn om de downstream-operaties van de proef te optimaliseren, ervoor te zorgen dat zowel de sites als de patiënten de beste ervaring hebben, en dat de kans op operationeel succes van de proef zo hoog mogelijk is. Bovendien zal Faro blijven werken aan het genereren van een reeks verschillende klinische documentatie, zodat alle indienings- en papierwerkprocessen van de proef efficiënt en minder foutgevoelig zijn. En we voorzien een wereld waarin AI onze platform tot een echte ontwerppartner maakt, die klinische wetenschappers betrekt in een generatieve dialoog om hen te helpen proeven te ontwerpen die de juiste compromissen tussen patiëntlast, site-last, tijd, kosten en complexiteit maken.

Hoe beïnvloedt Faro’s focus op patiëntgericht ontwerp de efficiëntie en het succes van klinische proeven, met name op het gebied van het verminderen van patiëntlast en het verbeteren van de toegankelijkheid van de studie?

Klinische proeven worden vaak gevangen tussen de concurrerende behoeften van het verzamelen van meer deelnemersgegevens – wat meer beoordelingen of tests voor de patiënt betekent – en het beheren van de operationele haalbaarheid van de proef, zoals de mogelijkheid om deelnemers in te schrijven en te behouden. Maar patiëntwerving en -behoud zijn enkele van de grootste uitdagingen voor het succesvol afronden van een klinische proef vandaag – naar schatting zullen zo’n 20-30% van de patiënten die zich aanmelden voor een klinische proef uiteindelijk stoppen vanwege de last van deelname, inclusief frequente bezoeken, invasieve procedures en complexe protocollen. Hoewel klinische onderzoeksteams zich bewust zijn van de impact van proeven met een hoge last op patiënten, kan het in de praktijk moeilijk zijn om iets concreets te doen om de last te verminderen. We geloven dat een van de barrières voor het verminderen van patiëntlast vaak het onvermogen is om de last voor patiënten gemakkelijk te meten – het is moeilijk om de impact te meten wanneer uw ontwerp in een Word-document of een pdf staat.

Met Faro’s Study Designer kunnen klinische ontwikkelingsteams real-time inzichten krijgen in de impact van hun specifieke protocol op patiëntlast tijdens het protocolplanningsproces zelf. Door proeven te structureren en analytische inzichten te bieden in hun kosten, patiëntlast, complexiteit vroeg in het ontwerpstadium van de proeven, biedt Faro klinische onderzoeksteams een zeer effectieve manier om hun proefontwerpen te optimaliseren door deze factoren af te wegen tegen wetenschappelijke behoeften om meer gegevens te verzamelen. Onze klanten houden van het feit dat we hen zichtbaarheid geven in patiëntlast en gerelateerde metrics op een punt in de ontwikkeling waar veranderingen gemakkelijk te maken zijn, en zij kunnen geïnformeerde compromissen sluiten waar nodig. Uiteindelijk hebben we gezien dat onze klanten duizenden uren aan collectieve patiënttijd hebben bespaard, wat we weten een onmiddellijke positieve impact zal hebben voor studie-deelnemers, en zal ook helpen ervoor te zorgen dat klinische proeven zowel kunnen starten als afronden op tijd.

Wat is uw advies aan start-ups of bedrijven die AI in hun klinische proefprocessen willen integreren, op basis van uw ervaringen bij zowel Google als Faro?

Hier zijn de belangrijkste takeaways die ik tot nu toe uit onze ervaring met het toepassen van AI op dit domein heb:

1. Deel en evalueer uw AI-prompt. Grote taalmodellen zoals GPT zijn niet ontworpen om klinische kwaliteitsdocumenten te produceren. Dus als u van plan bent om gen-AI te gebruiken om klinische proefdocumentatie te automatiseren, moet u een evaluatiekader hebben dat ervoor zorgt dat de gegenereerde uitvoer nauwkeurig, volledig, het juiste niveau van detail en toon heeft, enz. Dit vereist veel zorgvuldige testing van het model, geleid door klinische experts.
2. Gebruik een gestructureerde weergave van een proef. Er is geen manier om de vereiste gegevensanalyses te genereren om een klinische proef te ontwerpen zonder een gestructureerde repository. Veel bedrijven gebruiken vandaag Word-documenten – niet eens Excel! – om klinische proeven te modelleren. Dit moet worden gedaan met een gestructureerd domeinmodel dat de complexiteit van een proef nauwkeurig weergeeft – zijn schema, doelstellingen en eindpunten, planning van beoordelingen, enz. Dit vereist veel input en feedback van klinische experts.
3. Klinische experts zijn cruciaal voor kwaliteit. Zoals in de vorige twee punten te zien is, is het hebben van klinische experts rechtstreeks betrokken bij het ontwerp en de testing van elk AI-gebaseerd klinisch ontwikkelingssysteem absoluut kritiek. Dit is veel meer dan in elk ander domein waar ik aan heb gewerkt, simpelweg omdat de kennis die nodig is zo gespecialiseerd, gedetailleerd en doordringt elk product dat u probeert te bouwen in deze ruimte. We zijn constant bezig met het proberen van nieuwe dingen en delen regelmatig onze bevindingen op ons blog om bedrijven te helpen deze ruimte te navigeren.

   Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Faro Health bezoeken.