Patrick Leung, CTO van Faro Health – Interview Serie

Patrick Leung, CTO van Faro Health, leidt het door AI aangedreven platform van het bedrijf, dat het ontwerp van klinische proefprotocollen vereenvoudigt en versnelt. De tools van Faro Health verbeteren de efficiëntie, standaardisatie en nauwkeurigheid van de planning van klinische proeven, door gegevensgestuurde inzichten en gestroomlijnde processen te integreren om de risico’s, kosten en lasten voor patiënten te verminderen.

Faro Health geeft klinische onderzoeksteams de mogelijkheid om geoptimaliseerde, gestandaardiseerde proefprotocollen sneller te ontwikkelen, waardoor innovatie in klinisch onderzoek wordt bevorderd.

U hebt veel jaar AI opgebouwd bij Google. Wat waren enkele van de meest spannende projecten waar u aan werkte tijdens uw tijd bij Google, en hoe hebben die ervaringen uw benadering van AI gevormd?

Ik was lid van het team dat Google Duplex bouwde, een conversatie-AI-systeem dat restaurants en andere bedrijven namens de gebruiker belde. Dit was een topgeheim project met extreem getalenteerde mensen. Het team was snel en probeerde constant nieuwe ideeën uit, en er waren elke week coole demos van de laatste dingen waar mensen aan werkten. Het was heel inspirerend om deel uit te maken van zo’n team.

Een van de vele dingen die ik op dit team leerde, is dat zelfs als je werkt met de nieuwste AI-modellen, je soms nog steeds gewoon scrappy moet zijn om de gebruikerservaring en waarde te krijgen die je wilt. Om hyperrealistische mondelinge conversaties te genereren, stikte het team opnames samen met temporizers zoals “um” om de conversatie meer natuurlijk te laten klinken. Het was zo leuk om te lezen wat de pers te zeggen had over waarom die “ums” er waren nadat we het hadden gelanceerd!

Beide u en de CEO van Faro komen uit grote technologiebedrijven. Hoe heeft uw voorgaande ervaring de ontwikkeling en strategie van Faro beïnvloed?

Meerdere keren in mijn carrière heb ik bedrijven opgebouwd die verschillende producten en diensten verkopen aan grote bedrijven. Faro richt zich ook op de grootste farmaceutische bedrijven ter wereld, dus er is veel ervaring met wat het kost om grote ondernemingen te winnen en te partneren, en dat is hier heel relevant. Werken bij Two Sigma, een grote algoritmische hedgefund in New York City, heeft echt mijn aanpak van datawetenschap gevormd. Ze hebben een rigoureuze, hypothese-gedreven proces waarbij alle nieuwe ideeën in een onderzoeksplan terechtkomen en grondig getest worden. Ze hebben ook een heel goed ontwikkelde data-engineeringorganisatie voor het onboarden van nieuwe datasets en het uitvoeren van feature-engineering. Als Faro zijn AI-capaciteiten verdiept om meer problemen in klinische proefontwikkeling aan te pakken, zal deze aanpak heel relevant en toepasbaar zijn op wat we doen.

Faro Health is gebouwd rond het vereenvoudigen van de complexiteit van klinische proefontwerp met AI. Komend uit een niet-klinische achtergrond, wat was het “aha-moment” dat u deed begrijpen welke specifieke pijnpunten in protocolontwerp aangepakt moesten worden?

Mijn eerste “aha-moment” gebeurde toen ik de concept van “Eroom’s Law” tegenkwam. Eroom is geen persoon, het is gewoon “Moore” achterstevoren gespeld. Deze tong-in-de-kuilnaam is een verwijzing naar het feit dat de inflatie-aangepaste klinische geneesmiddelenontwikkelingskosten en -tijdslijnen de afgelopen 50 jaar ongeveer elke 9 jaar verdubbeld zijn. Dit staat haaks op de hele informatietechnologierevolutie en verbaasde me echt. Het overtuigde me ervan dat er een enorm probleem is om op te lossen!

Terwijl ik dieper in dit domein kwam en begon te begrijpen wat de onderliggende problemen waren, waren er veel meer inzichten zoals deze. Een fundamenteel en heel voor de hand liggend inzicht is dat Word-documenten geen goede indeling zijn om complexe klinische proeven te ontwerpen en op te slaan! Dit is een belangrijke observatie, voortgekomen uit de klinische ervaring van onze CEO Scott, waarop Faro is gebouwd. Er is ook de observatie dat proeven in de loop van de tijd steeds complexer worden, omdat klinische studieteamleden letterlijk eerder protocollen kopiëren en plakken en dan nieuwe beoordelingen toevoegen om meer gegevens te verzamelen. Gebruikers zo veel mogelijk waardevolle inzichten geven, zo vroeg mogelijk in het studieontwerpproces, is een belangrijke waardepropositie voor Faro.

Wat is de rol van AI in Faro’s platform om snellere en nauwkeurigere klinische proefprotocolontwerp te garanderen? Hoe onderscheidt Faro’s “AI Co-Auteur” -tool zich van andere generatieve AI-oplossingen?

Het klinkt misschien voor de hand liggend, maar je kunt ChatGPT niet zomaar vragen om een klinisch proefprotocoldocument te genereren. Ten eerste moet je heel specifieke, gestructureerde proefinformatie hebben, zoals de planning van activiteiten, die in detail wordt weergegeven om de juiste informatie in de zeer technische secties van het protocoldocument te tonen. Ten tweede zijn er veel details en specifieke clausules die aanwezig moeten zijn in de documentatie voor bepaalde soorten proeven, en een bepaalde stijl en niveau van detail dat door medisch schrijvers en beoordelaars wordt verwacht. Bij Faro hebben we een eigen protocolbeoordelingssysteem gebouwd om ervoor te zorgen dat de inhoud die het grote taalmodel (LLM) genereert, voldoet aan de hoge eisen van gebruikers en regelgevers.

Terwijl proeven voor zeldzame ziekten en immuno-oncologie complexer worden, hoe zorgt Faro ervoor dat AI deze gespecialiseerde eisen kan vervullen zonder afbreuk te doen aan nauwkeurigheid of kwaliteit?

Een model is alleen zo goed als de gegevens waarop het getraind is. Dus terwijl de voorhoede van de moderne geneeskunde vordert, moeten we ons tempo aanhouden door onze modellen te trainen en te testen met de nieuwste klinische proeven. Dit vereist dat we onze bibliotheek van gedigitaliseerde klinische protocollen continu uitbreiden – we zijn heel trots op het volume aan klinische proefprotocollen dat we al in onze gegevensbibliotheek bij Faro hebben gebracht, en we geven prioriteit aan de groei van deze dataset. Het vereist ook dat we zwaar leunen op ons in-house team van klinische experts, die constant de output van ons model evalueren en eventuele noodzakelijke wijzigingen aanbrengen in de “evaluatiecontrolelijsten” die we gebruiken om de nauwkeurigheid en kwaliteit ervan te garanderen.

Faro’s partnership met Veeva en andere toonaangevende bedrijven integreert uw platform in het bredere klinische proefecosysteem. Hoe helpen deze samenwerkingen de hele proefprocedure te stroomlijnen, van protocolontwerp tot uitvoering?

Het hart van een klinische proef is het protocol, dat Faro’s Study Designer helpt bij het ontwerpen en optimaliseren van onze klanten. Het protocol bepaalt alles wat daarna in de proef gebeurt, maar traditioneel worden protocollen ontworpen en opgeslagen in Word-documenten. Dus een van de grote uitdagingen bij het operationaliseren van klinische ontwikkeling vandaag is de constante overzetting of “vertaling” van gegevens uit het protocol of andere documentgebaseerde bronnen naar andere systemen of zelfs andere documenten. Zoals u zich kunt voorstellen, is het hebben van mensen die documentgebaseerde informatie handmatig in verschillende systemen overzetten, enorm inefficiënt en introduceert veel kansen voor fouten onderweg.

Faro’s visie is een geïntegreerd platform waarin de “definitie” of elementen van een klinische proef kunnen stromen van het ontwerpsysteem waar ze voor het eerst worden bedacht, naar beneden naar verschillende systemen of nodig tijdens de operationele fase van de proef. Wanneer dit soort naadloze informatie-uitwisseling op zijn plaats is, is er een significante kans op automatisering en verbeterde kwaliteit, wat betekent dat we de tijd en kosten om een klinische proef te ontwerpen en uit te voeren aanzienlijk kunnen verminderen. Onze partnership met Veeva om onze Study Designer te verbinden met Veeva Vault EDC is slechts een stap in deze richting, met veel meer te komen.

Wat zijn enkele van de belangrijkste uitdagingen waar AI voor staat bij het vereenvoudigen van klinische proeven, en hoe overwint Faro deze, met name op het gebied van het garanderen van transparantie en het voorkomen van problemen zoals vooroordelen of hallucinaties in AI-uitvoer?

Er is een veel hogere lat voor klinische proefdocumenten dan in de meeste andere domeinen. Deze documenten hebben invloed op het leven van echte mensen en gaan door een zeer veeleisende regelgevingsbeoordelingsprocedure. Toen we voor het eerst klinische documenten gegenereerd met een LLM, was het duidelijk dat met standaardmodellen de uitvoer nergens in de buurt kwam van de verwachtingen. Niet verwonderlijk was de toon, het detailniveau, de opmaak – alles – verkeerd, en was veel meer gericht op algemene bedrijfscommunicatie dan op expertklinische documenten. Zeker hallucinaties en ook gewoonweg het weglaten van noodzakelijke details waren grote uitdagingen. Om een generatieve AI-oplossing te ontwikkelen die kon voldoen aan de hoge standaard voor domeinspecifieke kwaliteit die onze gebruikers verwachten, moesten we veel tijd besteden aan het samenwerken met klinische experts om richtlijnen en evaluatiecontrolelijsten te ontwikkelen die ervoor zorgden dat onze uitvoer niet hallucineerde of simpelweg noodzakelijke details wegliet, en de juiste toon had. We moesten ook de capaciteit bieden voor eindgebruikers om hun eigen richtlijnen en correcties aan de uitvoer te geven, aangezien verschillende klanten verschillende sjablonen en standaarden hebben die hun documentauteurproces leiden.

Er is ook de uitdaging dat de gedetailleerde klinische gegevens die nodig zijn om het proefprotocoldocument volledig te genereren, mogelijk niet direct beschikbaar zijn, vaak opgeslagen in complexe documenten zoals het onderzoeksbrochure. We onderzoeken het gebruik van AI om te helpen bij het extraheren van dergelijke informatie en het beschikbaar maken voor gebruik bij het genereren van klinische protocoldocumentsecties.

Kijkend naar de toekomst, hoe ziet u AI evolueren in de context van klinische proeven? Wat zal de rol van Faro zijn in de digitale transformatie van deze ruimte in de komende tien jaar?

Naarmate de tijd verstrijkt, zal AI helpen om meer en meer beslissingen en processen in het klinische ontwikkelingsproces te verbeteren en optimaliseren. We zullen in staat zijn om belangrijke resultaten te voorspellen op basis van protocolontwerpinputs, zoals of het studieteam problemen met inschrijving kan verwachten, of de studie een amendement zal vereisen vanwege operationele uitdagingen. Met dat soort voorspellende inzichten zullen we in staat zijn om de downstream-operaties van de proef te helpen optimaliseren, ervoor te zorgen dat zowel sites als patiënten de beste ervaring hebben, en dat de kans op operationeel succes van de proef zo hoog mogelijk is. Naast het verkennen van deze mogelijkheden, plant Faro ook om een reeks verschillende klinische documentatie te blijven genereren, zodat alle indiening- en papierwerkprocessen van de proef efficiënt en veel minder foutgevoelig zijn. En we voorzien een wereld waarin AI onze platform tot een echte ontwerppartner maakt, die klinische wetenschappers betrekt in een generatieve dialoog om hen te helpen proeven te ontwerpen die de juiste compromissen maken tussen patiëntlast, site-last, tijd, kosten en complexiteit.

Hoe heeft Faro’s focus op patiëntgericht ontwerp invloed op de efficiëntie en succes van klinische proeven, met name wat betreft het verminderen van patiëntlast en het verbeteren van studietoegankelijkheid?

Klinische proeven worden vaak gevangen tussen de concurrerende behoeften van het verzamelen van meer deelnemergegevens – wat meer beoordelingen of tests voor de patiënt betekent – en het beheren van de operationele haalbaarheid van een proef, zoals de mogelijkheid om deelnemers in te schrijven en te behouden. Maar patiëntwerving en -behoud zijn enkele van de grootste uitdagingen voor het succesvol afronden van een klinische proef vandaag – naar schatting zullen zo’n 20-30% van de patiënten die ervoor kiezen deel te nemen aan een klinische proef, uiteindelijk stoppen vanwege de last van deelname, waaronder frequente bezoeken, invasieve procedures en complexe protocollen. Hoewel klinische onderzoeksteams zich bewust zijn van de impact van proeven met een hoge last op patiënten, kan het in de praktijk moeilijk zijn om iets concreets te doen om de last te verminderen. We geloven dat een van de barrières om patiëntlast te verminderen, vaak het onvermogen is om deze gemakkelijk te kwantificeren – het is moeilijk om de impact op patiënten te meten wanneer uw ontwerp in een Word-document of een pdf staat.

Met Faro’s Study Designer kunnen klinische ontwikkelingsteams real-time inzichten krijgen in de impact van hun specifieke protocol op patiëntlast tijdens het protocolplanningproces. Door proeven te structureren en analytische inzichten te bieden in hun kosten, patiëntlast, complexiteit vroeg in het ontwerpstadium van de proef, biedt Faro klinische onderzoeksteams een heel effectieve manier om hun proefontwerp te optimaliseren door deze factoren af te wegen tegen wetenschappelijke behoeften om meer gegevens te verzamelen. Onze klanten houden van het feit dat we hen zichtbaarheid geven in patiëntlast en gerelateerde metrics op een moment in de ontwikkeling waar veranderingen gemakkelijk te maken zijn, en ze kunnen geïnformeerde keuzes maken waar nodig. Uiteindelijk hebben we gezien dat onze klanten duizenden uren aan collectieve patiënttijd hebben bespaard, wat we weten een onmiddellijke positieve impact zal hebben voor studiedeelnemers, en ook zal helpen ervoor te zorgen dat klinische proeven zowel kunnen starten als afronden op tijd.

Wat is uw advies aan startups of bedrijven die AI willen integreren in hun klinische proefprocessen, op basis van uw ervaringen bij zowel Google als Faro?

Hier zijn de belangrijkste takeaways die ik tot nu toe uit onze ervaring met het toepassen van AI in dit domein heb:

1. Deel en evalueer uw AI-prompt. Grote taalmodellen zoals GPT zijn niet ontworpen om klinische kwaliteitsdocumenten te produceren. Dus als u van plan bent om gen-AI te gebruiken om klinische proefdocumenten te automatiseren, moet u een evaluatiekader hebben dat ervoor zorgt dat de gegenereerde uitvoer nauwkeurig, volledig, het juiste niveau van detail en toon heeft, enz. Dit vereist een hoop zorgvuldige testing van het model, geleid door klinische experts.
2. Gebruik een gestructureerde weergave van een proef. Er is geen manier om de vereiste gegevensanalyses te genereren om een klinische proef te ontwerpen zonder een gestructureerde repository. Veel bedrijven gebruiken vandaag Word-documenten – niet eens Excel! – om klinische proeven te modelleren. Dit moet worden gedaan met een gestructureerd domeinmodel dat de complexiteit van een proef nauwkeurig weergeeft – zijn schema, doelstellingen en eindpunten, planning van beoordelingen, enz. Dit vereist veel input en feedback van klinische experts.
3. Klinische experts zijn cruciaal voor kwaliteit. Zoals in de voorgaande twee punten te zien is, is het hebben van klinische experts rechtstreeks betrokken bij het ontwerp en de testing van elk AI-gebaseerd klinisch ontwikkelingssysteem absoluut cruciaal. Dit is veel meer zo dan in welk ander domein ik ook heb gewerkt, simpelweg omdat de kennis die nodig is zo gespecialiseerd, gedetailleerd en doordringt elk product dat u probeert te bouwen in deze ruimte.

We zijn constant bezig met nieuwe dingen en delen onze bevindingen regelmatig op ons blog om bedrijven te helpen deze ruimte te navigeren.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Faro Health bezoeken.