Patrick Leung, CTO i Faro Health – Intervju-serie

Patrick Leung, CTO i Faro Health, driver selskapets AI-drevne plattform, som forenkler og akselerer klinisk prøveprotokoll-design. Faro Healths verktøy forbedrer effektivitet, standardisering og nøyaktighet i prøveplanlegging, integrerer data-drevne innsikter og strømlinjeformede prosesser for å redusere prøverisiko, kostnader og pasientbyrde.

Faro Health gir kliniske forskningsteam mulighet til å utvikle optimaliserte, standardiserte prøveprotokoller raskere, og fremmer innovasjon i klinisk forskning.

Du tilbrakte mange år med å bygge AI i Google (GOOGL ). Hva var noen av de mest spennende prosjektene du arbeidet med under din tid i Google, og hvordan påvirkte disse erfaringene din tilnærming til AI?

Jeg var en del av teamet som bygde Google Duplex, et konversasjons-AI-system som ringte restauranter og andre bedrifter på vegne av brukeren. Dette var et topphemmelig prosjekt som bestod av ekstremt talentfulle mennesker. Teamet var raskt, konstant prøvde nye ideer, og det var cool demonstrasjoner av de siste tingene folk arbeidet med hver uke. Det var veldig inspirerende å være en del av et slikt team.

En av de mange tingene jeg lærte på dette teamet er at selv når du arbeider med de siste AI-modellene, må du noen ganger bare være skruppelløs for å få brukeropplevelsen og verdien du ønsker. For å generere hyper-realistiske verbale samtaler, sydde teamet sammen opptak med temporisatorer som “um” for å gjøre samtalen lyde mer naturlig. Det var så mye moro å lese hva pressen hadde å si om hvorfor disse “um”-ene var der etter vi lanserte!

Både du og CEO-en i Faro kommer fra store teknologiselskaper. Hvordan har din tidligere erfaring påvirket utviklingen og strategien til Faro?

Jeg har flere ganger i min karriere bygget selskaper som selger forskjellige produkter og tjenester til store selskaper. Faro målretter også verdens største legemiddelselskaper, så det er mye erfaring om hva det tar å vinne over og samarbeide med store bedrifter som er veldig relevant her. Å jobbe i Two Sigma, et stort algoritmbasert hedgefond i New York City, formasjon hvordan jeg nærmer meg data-vitenskap. De har en rigorøs hypotesedrevet prosess hvor alle nye ideer går inn i en forskningsplan og testes grundig. De har også en veldig velutviklet dataingeniørorganisasjon for å onboard nye datasamlinger og utføre funksjonsutvikling. Når Faro dypper sine AI-egenskaper for å takle flere problemer i klinisk prøveutvikling, vil denne tilnærmingen være veldig relevant og anvendbar på det vi gjør.

Faro Health er bygget rundt å forenkle kompleksiteten i klinisk prøve-design med AI. Kommer du fra en ikke-klinisk bakgrunn, hva var “aha-øyeblikket” som gjorde deg forstå de spesifikke smertepunktene i protokoll-design som måtte adresseres?

Mitt første “aha-øyeblikk” skjedde da jeg møtte konseptet “Eroom’s Law”. Eroom er ikke en person, det er bare “Moore” stavebaklengs. Dette tungen-i-kjeken-navnet er en referanse til at over de siste 50 årene, har inflasjonsjusterte kliniske legemiddelutviklingskostnader og tidsrammer omtrent doblet seg hver 9. år. Dette går i mot hele informasjonsteknologirevolusjonen, og bare forbløffet meg. Det solgte meg på faktum at det er et enormt problem å løse her!

Som jeg dypte meg mer i dette domenet og begynte å forstå de underliggende problemene bedre, var det mange flere innsikter som dette. En grunnleggende og veldig åpenbar en er at Word-dokumenter ikke er en god format for å designe og lagre svært komplekse kliniske prøver! Dette er en nøkkelobservasjon, født av vår CEO Scotts kliniske erfaring, som Faro ble bygget på. Det er også observasjonen at over tid, tenderer prøver å bli mer og mer komplekse, ettersom kliniske studieteam bokstavelig talt kopierer og limter tidligere protokoller, og så legger til nye vurderinger for å samle inn mer data. Å gi brukerne så mange verdifulle innsikter som mulig, så tidlig som mulig, i studie-designprosessen er en nøkkelverdi for Faro.

Hvordan spiller AI en rolle i Faros plattform for å sikre raskere og mer nøyaktig klinisk prøveprotokoll-design? Hvordan skiller Faros “AI Co-Author”-verktøy seg fra andre generative AI-løsninger?

Det kan høres åpenbart, men du kan ikke bare be ChatGPT om å generere et klinisk prøveprotokoll-dokument. Først og fremst må du ha svært spesifik, strukturert prøveinformasjon som tidsplanen for aktiviteter representert i detalj for å kunne presentere riktig informasjon i de svært tekniske delene av protokoll-dokumentet. For det andre er det mange detaljer og spesifikke klausuler som må være til stede i dokumentasjonen for visse typer prøver, og en viss stil og detaljnivå som forventes av medisinske forfattere og vurderere. Hos Faro bygde vi et proprietært protokollevalueringssystem for å sikre at innholdet som den store språkmodellen (LLM) kom opp med, ville møte brukernes og regulatorenes strenge standarder.

Som prøver for sjeldne sykdommer og immuno-onkologi blir mer komplekse, hvordan sikrer Faro at AI kan møte disse spesialiserte kravene uten å ofre nøyaktighet eller kvalitet?

En modell er bare så god som dataene den er trent på. Så når fronten av moderne medisin fremover, må vi holde pace ved å trene og teste våre modeller med de siste kliniske prøvene. Dette krever at vi kontinuerlig utvider vår bibliotek av digitaliserte kliniske protokoller – vi er ekstremt stolte av volumet av kliniske prøveprotokoller som vi allerede har bragt inn i vårt datalibrar i Faro, og vi prioriterer alltid veksten av denne datasetten. Det krever også at vi læner tungt på vårt interne team av kliniske eksperter, som konstant vurderer utgangen av vår modell og gir eventuelle endringer til “evalueringskontrollistene” vi bruker for å sikre dens nøyaktighet og kvalitet.

Faros samarbeid med Veeva og andre ledende selskaper integrerer deres plattform i det videre kliniske prøvemiljøet. Hvordan hjelper disse samarbeidene med å strømlinjeforme hele prøveprosessen, fra protokoll-design til gjennomføring?

Hjertet av en klinisk prøve er protokollen, som Faros Study Designer hjelper kundene med å designe og optimalisere. Protokollen informerer alt nedstrøms om prøven, men tradisjonelt er protokoller designet og lagret i Word-dokumenter. Derfor er en av de store utfordringene i å operasjonalisere klinisk utvikling i dag den konstante transkripsjonen eller “oversettelsen” av data fra protokollen eller andre dokumentbaserte kilder til andre systemer eller selv dokumenter. Som du kan tenke deg, å ha mennesker manuelt oversette dokumentbasert informasjon til forskjellige systemer eller dokumenter, er usedvanlig ineffektivt og introduserer mange muligheter for feil underveis.

Faros visjon er en samlet plattform hvor “definisjonen” eller elementene i en klinisk prøve kan flyte fra designsystemet hvor de først konseptualiseres, nedstrøms til forskjellige systemer eller når det er nødvendig under operasjonell fase av prøven. Når denne type informasjonsflyt er på plass, er det en betydelig mulighet for automatisering og forbedret kvalitet, noe som kan dramatisk redusere tiden og kostnadene til å designe og implementere en klinisk prøve. Vårt samarbeid med Veeva for å koble vår Study Designer til Veeva Vault EDC er bare ett skritt i denne retningen, med mye mer å komme.

Hvordan overvinner Faro noen av de største utfordringene AI møter i å forenkle kliniske prøver, spesielt når det gjelder å sikre gjennomsiktighet og unngå problemer som bias eller hallusinasjon i AI-utgang?

Det er en mye høyere standard for kliniske prøvedokumenter enn i de fleste andre domener. Disse dokumentene påvirker livene til virkelige mennesker, og går derfor gjennom en svært streng regulatorisk gjennomgangsprosess. Da vi først startet å generere kliniske dokumenter med en LLM, var det tydelig at med standardmodeller, var utgangen ingen nær å møte forventningene. Uventet var tonen, detaljnivået, formateringen – alt – langt unna, og var mye mer rettet mot generell forretningskommunikasjon enn ekspert-klinisk graderte dokumenter. For å utvikle en generativ AI-løsning som kunne møte den høye standarden for domene-spesifik kvalitet som våre brukere forventer, måtte vi bruke mye tid på å samarbeide med kliniske eksperter for å utvikle retningslinjer og vurderingskontrollister som sikret at vår utgang ikke var hallusinert eller enkelt utelatt nøkkelinformasjon. Vi måtte også gi kapasiteten for sluttbrukere til å gi sin egen veiledning og korreksjoner til utgangen, ettersom forskjellige kunder har forskjellige maler og standarder som styrer deres dokumentprosess.

Ser fremover, hvordan ser du på AI-evolusjonen i sammenheng med kliniske prøver? Hva rolle vil Faro spille i den digitale transformasjonen av dette området over de neste ti årene?

Som tiden går, vil AI hjelpe med å forbedre og optimalisere flere og flere beslutninger og prosesser gjennom hele den kliniske utviklingsprosessen. Vi vil kunne forutsi nøkkelresultater basert på protokoll-designinnganger, som om studieteamet kan forvente rekrutteringsutfordringer, eller om studiet vil kreve en endring på grunn av operasjonelle utfordringer. Med denne type prediktiv innsikt, vil vi kunne hjelpe med å optimalisere de nedstrøms operasjonene av prøven, sikre at både steder og pasienter har den beste opplevelsen, og at prøvens sannsynlighet for operasjonell suksess er så høy som mulig. I tillegg til å utforske disse mulighetene, planlegger Faro også å fortsette å generere en rekke forskjellige kliniske dokumenter, så alle filerings- og papirarbeidsprosesser av prøven er effektive og mindre feilpregede. Og vi forutser en verden hvor AI gjør vår plattform til en ekte designpartner, som engasjerer kliniske forskere i en generativ dialog for å hjelpe dem med å designe prøver som gjør riktige valg mellom pasientbyrde, stedbyrde, tid, kostnad og kompleksitet.

Hvordan påvirker Faros fokus på pasient-sentrert design effektiviteten og suksessen av kliniske prøver, spesielt når det gjelder å redusere pasientbyrde og forbedre studie-tilgjengelighet?

Kliniske prøver er ofte fanget mellom de konkurrerende behovene til å samle inn mer deltakerdata – som betyr mer vurderinger eller tester for pasienten – og å håndtere en prøves operasjonelle gjennomførbarhet, som evnen til å rekruttere og beholde deltakere. Men pasientrekruttering og -behhold er noen av de største utfordringene for å fullføre en klinisk prøve i dag – ifølge noen estimater, så mange som 20-30% av pasienter som velger å delta i en klinisk prøve, vil til slutt droppe ut på grunn av byrden av deltakelse, inkludert hyppige besøk, invasive prosedyrer og komplekse protokoller. Selv om kliniske forskningsteam er klar over impekten av høybyrdeprøver på pasienter, kan det være vanskelig å faktisk gjøre noe konkret for å redusere byrden i praksis. Vi tror en av barrierene for å redusere pasientbyrde er ofte evnen til å kvantifisere den – det er vanskelig å måle impekten på pasienter når designet ditt er i et Word-dokument eller en pdf.

Med Faros Study Designer kan kliniske utviklingsteam få sanntidsinnsikt i impekten av deres spesifikke protokoll på pasientbyrde under selve protokollplanleggingsprosessen. Ved å strukturere prøver og gi analytiske innsikter i kostnader, pasientbyrde, kompleksitet tidlig i prøvedesignfasen, gir Faro kliniske forskningsteam en svært effektiv måte å optimalisere sine prøvedesign ved å balansere disse faktorene mot vitenskapelige behov for å samle inn mer data. Våre kunder elsker faktum at vi gir dem innsikt i pasientbyrde og relaterte målinger på et tidspunkt i utviklingen hvor endringer er enkle å gjøre, og de kan gjøre informerte valg hvor nødvendig. Til slutt har vi sett at våre kunder har spart tusenvis av kollektive pasienttimer, som vi vet vil ha en umiddelbar positiv effekt for studie-deltakerne, samtidig som det også hjelper med å sikre at kliniske prøver både kan starte og fullføres i tide.

Hva råd ville du gi til startups eller selskaper som ønsker å integrere AI i sine kliniske prøveprosesser, basert på dine erfaringer fra både Google og Faro?

Her er hovedpoengene jeg ville fremheve så langt fra vår erfaring med å anvende AI i dette domenet:

1. Del og vurder AI-promptene dine. Store språkmodeller som GPT er ikke designet for å produsere klinisk graderte dokumenter. Så hvis du planlegger å bruke generativ AI til å automatisere klinisk prøve-dokumentasjon, må du ha en vurderingsramme som sikrer at den genererte utgangen er nøyaktig, fullstendig, har riktig detaljnivå og tone, og så videre. Dette krever mye grundig testing av modellen, ledet av kliniske eksperter.
2. Bruk en strukturert representasjon av en prøve. Det er ingen måte du kan generere de nødvendige data-analytikene for å designe en optimal klinisk prøve uten en strukturert repository. Mange selskaper i dag bruker Word-dokumenter – ikke engang Excel! – for å modellere kliniske prøver. Dette må gjøres med en strukturert domene-modell som nøyaktig representerer kompleksiteten av en prøve – dens skjema, mål og endepunkter, vurderingsplan, og så videre. Dette krever mye innputt og tilbakemelding fra kliniske eksperter.
3. Kliniske eksperter er avgjørende for kvalitet. Som sett i de to foregående punktene, å ha kliniske eksperter direkte involvert i design og testing av ethvert AI-basert klinisk utviklingssystem er absolutt kritisk. Dette er mye mer enn i noen annen domene jeg har arbeidet i, bare fordi kunnskapen som er nødvendig er så spesialisert, detaljert og gjennomsyrer ethvert produkt du forsøker å bygge i dette området.

Vi prøver stadig nye ting og deler regelmessig våre funn på vår blogg for å hjelpe selskaper med å navigere i dette området.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Faro Health.