Patrick Leung, CTO på Faro Health – Intervjuerien

Patrick Leung, CTO på Faro Health, driver företagets AI-drivna plattform, som förenklar och påskyndar designen av kliniska prövningsprotokoll. Faro Healths verktyg förbättrar effektivitet, standardisering och noggrannhet i prövningsplaneringen, genom att integrera data-drivna insikter och strömlinjeforma processer för att minska prövningsrisker, kostnader och patientbörda.

Faro Health ger kliniska forskningsteam möjlighet att utveckla optimerade, standardiserade prövningsprotokoll snabbare, vilket främjar innovation inom klinisk forskning.

Du tillbringade många år med att bygga AI på Google (GOOGL ). Vilka var några av de mest spännande projekten du arbetade med under din tid på Google, och hur påverkade dessa erfarenheter din tillvägagångssätt för AI?

Jag var med i teamet som byggde Google Duplex, ett konversations-AI-system som ringde restauranger och andra företag på användarens vägnar. Detta var ett topphemligt projekt som bestod av extremt begåvade människor. Teamet var snabbt och försökte ständigt nya idéer, och det fanns coolt demos av de senaste sakerna människor arbetade med varje vecka. Det var mycket inspirerande att vara en del av ett sådant team.

En av de många sakerna jag lärde mig i detta team är att även när du arbetar med de senaste AI-modellerna, måste du ibland fortfarande vara skör för att få den användarupplevelse och värde du vill ha. För att generera hyperrealistiska verbala samtal, sydde teamet ihop inspelningar med temporisatorer som “um” för att göra samtalet låta mer naturligt. Det var så roligt att läsa vad pressen hade att säga om varför “ums” var där efter vi lanserade!

Både du och VD för Faro kommer från stora teknikföretag. Hur har er tidigare erfarenhet påverkat utvecklingen och strategin för Faro?

Flera gånger under min karriär har jag byggt företag som säljer olika produkter och tjänster till stora företag. Faro riktar sig också till världens största läkemedelsföretag, så det finns mycket erfarenhet av vad som krävs för att vinna över och samarbeta med stora företag som är relevant här. Att arbeta på Two Sigma, ett stort algoritmiskt hedgefond i New York City, formade hur jag närmar mig data-vetenskap. De har en rigorös hypotes-driven process där alla nya idéer går in i en forskningsplan och testas grundligt. De har också en mycket välutvecklad data-engineering-organisation för att påbörja nya data-uppsättningar och utföra funktionell ingenjörskonst. När Faro fördjupar sin AI-kapacitet för att tackla fler problem inom klinisk prövning, kommer denna tillvägagångssätt att vara mycket relevant och tillämplig på vad vi gör.

Faro Health är byggt kring att förenkla komplexiteten i klinisk prövning med AI. Kommande från en icke-klinisk bakgrund, vad var “aha-ögonblicket” som ledde dig till att förstå de specifika smärt-punkterna i protokoll-design som behövde åtgärdas?

Mitt första “aha-ögonblick” inträffade när jag stötte på begreppet “Eroom’s Law”. Eroom är inte en person, det är bara “Moore” stavat baklänges. Detta skämtsamma namn är en referens till att under de senaste 50 åren har inflation justerade kliniska läkemedelsutvecklingskostnader och tidsramar ungefär fördubblats var 9:e år. Detta strider mot hela IT-revolutionen, och det förvirrade mig verkligen! Det sålde mig på att det finns ett enormt problem att lösa här!

Så som jag gick djupare in i detta område och började förstå de underliggande problemen mer fullständigt, fanns det många fler insikter som denna. En grundläggande och mycket uppenbar sak är att Word-dokument inte är en bra format för att designa och lagra högt komplexa kliniska prövningar! Detta är en nyckelobservation, född av vår VD Scotts kliniska erfarenhet, som Faro byggdes på. Det finns också observationen att prövningar tenderar att bli mer och mer komplexa över tid, eftersom kliniska studie-team bokstavligen kopierar och klistrar in tidigare protokoll och sedan lägger till nya bedömningar för att samla in mer data. Att ge användarna så många värdefulla insikter som möjligt, så tidigt som möjligt, i studie-designprocessen är en nyckel-värdeposition för Faro.

Vilken roll spelar AI i Faros plattform för att säkerställa snabbare och mer exakta kliniska prövningsprotokoll? Hur skiljer sig Faros “AI Co-Author”-verktyg från andra generativa AI-lösningar?

Det kan låta uppenbart, men du kan inte bara be ChatGPT att generera ett kliniskt prövningsprotokoll-dokument. Först och främst behöver du ha mycket specifik, strukturerad prövningsinformation, såsom schemat för aktiviteter representerat i detalj, för att yta rätt information i de tekniska avsnitten av protokoll-dokumentet. För det andra finns det många detaljer och specifika klausuler som måste finnas i dokumentationen för vissa typer av prövningar, och en viss stil och nivå av detalj som förväntas av medicinska författare och granskare. På Faro byggde vi ett proprietärt protokoll-utvärderingssystem för att säkerställa att innehållet som den stora språkmodellen (LLM) kom med skulle uppfylla användarnas och regulatorernas höga standarder.

Så prövningar för sällsynta sjukdomar och immuno-onkologi blir mer komplexa, hur säkerställer Faro att AI kan möta dessa specialiserade krav utan att offra noggrannhet eller kvalitet?

En modell är bara så bra som de data den tränas på. Så när den moderna medicinens frontlinje framskrider, måste vi hålla jämna steg genom att träna och testa våra modeller med de senaste kliniska prövningarna. Det kräver att vi kontinuerligt utvidgar vår bibliotek av digitaliserade kliniska protokoll – vi är extremt stolta över volymen av kliniska prövningsprotokoll som vi redan har tagit med i vår data-bibliotek på Faro, och vi prioriterar alltid tillväxten av denna data-uppsättning. Det kräver också att vi litar tungt på vårt in-house team av kliniska experter, som ständigt utvärderar modellens utdata och tillhandahåller eventuella nödvändiga ändringar av “utvärderingskontroll-listorna” vi använder för att säkerställa dess noggrannhet och kvalitet.

Faros samarbete med Veeva och andra ledande företag integrerar er plattform i den bredare kliniska prövnings-ekosystemet. Hur hjälper dessa samarbeten till att strömlinjeforma hela prövningsprocessen, från protokoll-design till genomförande?

Hjärtat av en klinisk prövning är protokollet, som Faros Study Designer hjälper våra kunder att designa och optimera. Protokollet informerar allt nedströms om prövningen, men traditionellt designas och lagras protokoll i Word-dokument. En av de stora utmaningarna i att operationalisera klinisk utveckling idag är den konstanta transkriptionen eller “översättningen” av data från protokollet eller andra dokumentbaserade källor till andra system eller till och med andra dokument. Som du kan föreställa dig, är det otroligt ineffektivt att ha människor som manuellt transkriberar dokumentbaserad information till olika system, och det introducerar många möjligheter för fel på vägen.

Faros vision är en enhetlig plattform där “definitionen” eller elementen i en klinisk prövning kan flöda från designsystemet där de först konceptualiserades, nedströms till olika system eller behövs under den operativa fasen av prövningen. När denna typ av sömlös informationsflöde är på plats, finns det en betydande möjlighet för automatisering och förbättrad kvalitet, vilket innebär att vi kan dramatiskt minska tiden och kostnaden för att designa och implementera en klinisk prövning. Vårt samarbete med Veeva för att ansluta vår Study Designer till Veeva Vault EDC är bara ett steg i denna riktning, med mycket mer att komma.

Vilka är några av de nyckelutmaningar AI står inför för att förenkla kliniska prövningar, och hur övervinner Faro dem, särskilt när det gäller att säkerställa transparens och undvika problem som bias eller hallucination i AI-utdata?

Det finns en mycket högre standard för kliniska prövningsdokument än i de flesta andra områden. Dessa dokument påverkar livet för riktiga människor och passerar därför genom en mycket noggrann regulatorisk granskningsprocess. När vi först började generera kliniska dokument med en LLM, var det tydligt att med färdiga modeller, var utdatat långt ifrån att möta förväntningarna. Det var tydligt att tonen, nivån av detalj, formatering – allt – var fel, och var mycket mer inriktat på allmänna affärskommunikationer, snarare än expert-kliniska dokument av hög kvalitet. För att utveckla en generativ AI-lösning som kunde möta den höga standarden för domänspecifikhet och kvalitet som våra användare förväntar sig, var vi tvungna att lägga mycket tid på att samarbeta med kliniska experter för att utveckla riktlinjer och utvärderingskontroll-listor som säkerställde att vår utdata inte hallucinerade eller enkelt utelämnade viktiga detaljer. Vi behövde också tillhandahålla möjligheten för slutanvändare att ge sin egen vägledning och korrektioner av utdatat, eftersom olika kunder har olika mallar och standarder som styr deras dokument-skapande process.

Framtiden, hur ser du att AI utvecklas i sammanhanget av kliniska prövningar? Vilken roll kommer Faro att spela i den digitala transformationen av detta område under de kommande tio åren?

Så småningom kommer AI att hjälpa till att förbättra och optimera fler och fler beslut och processer under den kliniska utvecklingsprocessen. Vi kommer att kunna förutsäga nyckelresultat baserat på protokoll-designinmatningar, som om studieteamet kan förvänta sig anmälningsutmaningar, eller om studien kommer att kräva en ändring på grund av operativa utmaningar. Med den typen av prediktiv insikt, kommer vi att kunna hjälpa till att optimera den nedströmsa driften av prövningen, säkerställa att både platser och patienter har den bästa upplevelsen, och att prövningens operativa framgångs sannolikhet är så hög som möjligt. Utöver att utforska dessa möjligheter, planerar Faro också att fortsätta generera en rad olika kliniska dokument, så att alla filerings- och pappersprocesser i prövningen är effektiva och mindre felbenägna. Och vi förutser en värld där AI möjliggör att vår plattform blir en riktig designpartner, som engagerar kliniska forskare i en generativ dialog för att hjälpa dem designa prövningar som gör rätt avvägningar mellan patientbörda, platsbörda, tid, kostnad och komplexitet.

Hur påverkar Faros fokus på patientcentrerad design effektiviteten och framgången för kliniska prövningar, särskilt när det gäller att minska patientbörda och förbättra studie-tillgänglighet?

Kliniska prövningar är ofta fångade mellan de motsatta behoven av att samla in mer deltagar-data – vilket innebär fler bedömningar eller tester för patienten – och att hantera en prövnings operativa genomförbarhet, såsom dess förmåga att anmäla och behålla deltagare. Men patientrekrytering och -behållning är några av de mest betydande utmaningarna för den framgångsrika slutförandet av en klinisk prövning idag – enligt vissa uppskattningar, så många som 20-30% av patienter som väljer att delta i en klinisk prövning kommer slutligen att sluta på grund av deltagandets börda, inklusive frekventa besök, invasiva procedurer och komplexa protokoll. Även om kliniska forskningsteam är medvetna om påverkan av högbörda-prövningar på patienter, kan det vara svårt att faktiskt göra något konkret för att minska bördan i praktiken. Vi tror att en av barriärerna för att minska patientbörda ofta är oförmågan att lätt mäta den – det är svårt att mäta påverkan på patienter när din design är i ett Word-dokument eller en pdf.

Med hjälp av Faros Study Designer kan kliniska utvecklingsteam få realtids-insikter i påverkan av deras specifika protokoll på patientbörda under själva protokoll-planeringsprocessen. Genom att strukturera prövningar och tillhandahålla analytiska insikter i kostnad, patientbörda, komplexitet tidigt under prövningens designskede, ger Faro kliniska forskningsteam en mycket effektiv metod för att optimera sina prövningsdesigner genom att balansera dessa faktorer mot vetenskapliga behov av att samla in mer data. Våra kunder älskar faktum att vi ger dem insikt i patientbörda och relaterade mått på en punkt i utvecklingen där ändringar är lätta att göra, och de kan göra informerade avvägningar där det är nödvändigt. Till slut har vi sett att våra kunder sparar tusentals timmar av kollektiv patienttid, vilket vi vet kommer att ha en omedelbar positiv inverkan på studie-deltagare, samtidigt som det också hjälper till att säkerställa att kliniska prövningar kan både initieras och slutföras i tid.

Vad råd skulle du ge till start-ups eller företag som vill integrera AI i sina kliniska prövningsprocesser, baserat på din erfarenhet på både Google och Faro?

Här är de viktigaste slutsatserna jag kan erbjuda hittills från vår erfarenhet av att tillämpa AI på detta område:

1. Delar och utvärderar dina AI-prompt. Stora språkmodeller som GPT är inte utformade för att producera kliniskt kvalitetsdokumentation. Så om du planerar att använda generativ AI för att automatisera klinisk prövningsdokument-skapande, måste du ha en utvärderingsram som säkerställer att den genererade utdatat är korrekt, fullständigt, har rätt nivå av detalj och ton, och så vidare. Det kräver en hel del noggrann testning av modellen, guidad av kliniska experter.
2. Använd en strukturerad representation av en prövning. Det finns inget sätt du kan generera de nödvändiga data-analytikerna för att designa en optimal klinisk prövning utan en strukturerad repository. Många företag idag använder Word-dokument – inte ens Excel! – för att modellera kliniska prövningar. Detta måste göras med en strukturerad domänmodell som korrekt representerar komplexiteten i en prövning – dess schema, mål och slutpunkter, schemat för bedömningar, och så vidare. Det kräver en hel del inmatning och feedback från kliniska experter.
3. Kliniska experter är avgörande för kvalitet. Som visas i de två föregående punkterna, är det absolut nödvändigt att ha kliniska experter direkt involverade i designen och testningen av alla AI-baserade kliniska utvecklingssystem. Detta är ännu viktigare än i något annat område jag har arbetat inom, enbart på grund av att kunskapen som krävs är så specialiserad, detaljerad och genomsyrar alla produkter du försöker bygga inom detta område.

Vi är ständigt företagsamma och delar regelbundet våra resultat på vår blogg för att hjälpa företag navigera detta område.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Faro Health.