Patrick Leung, CTO i Faro Health – Intervju-serie

Patrick Leung, CTO i Faro Health, driver selskapets AI-drevne plattform, som forenkler og akselerer design av kliniske forsøksprotokoller. Faro Healths verktøy forbedrer effektivitet, standardisering og nøyaktighet i planlegging av forsøk, ved å integrere data-drevne innsikter og strømlinjeformede prosesser for å redusere forsøksrisiko, kostnader og pasientbyrde.

Faro Health gir kliniske forskningsteam mulighet til å utvikle optimerte, standardiserte forsøksprotokoller raskere, og fremmer innovasjon i klinisk forskning.

You tilbrakte mange år med å bygge AI i Google. Hva var noen av de mest spennende prosjektene du arbeidet med under tiden din i Google, og hvordan påvirkte disse erfaringene din tilnærming til AI?

Jeg var en del av teamet som bygde Google Duplex, et konversasjons-AI-system som ringte restauranter og andre bedrifter på vegne av brukeren. Dette var et topphemmelig prosjekt som var fullt av ekstremt talentfulle mennesker. Teamet var raskt og prøvde stadig nye ideer, og det var coole demonstrasjoner av de siste tingene folk arbeidet med hver uke. Det var veldig inspirerende å være en del av et slikt team.

En av de mange tingene jeg lærte på dette teamet er at selv når du arbeider med de siste AI-modellene, må du noen ganger bare være skruppelløs for å få den brukeropplevelsen og verdien du ønsker. For å generere hyper-realistiske verbale samtaler, sydde teamet sammen opptak med temporisatorer som “um” for å gjøre samtalen lyde mer naturlig. Det var så moro å lese hva pressen hadde å si om hvorfor disse “um”-ene var der etter at vi lanserte!

Både du og CEO-en i Faro kommer fra store teknologiselskaper. Hvordan har din tidligere erfaring påvirket utviklingen og strategien til Faro?

Jeg har flere ganger i min karriere bygget selskaper som selger ulike produkter og tjenester til store selskaper. Faro tar også mål på verdens største legemiddelselskaper, så det er mye erfaring om hva det tar å vinne over og samarbeide med store bedrifter som er svært relevant her. Å arbeide i Two Sigma, en stor algoritme-drevet hedgefond basert i New York City, formasjon hvordan jeg nærmer meg data-vitenskap. De har en rigorøs hypotesedrevet prosess hvor alle nye ideer går inn i en forskningsplan og testes grundig. De har også en svært velutviklet data-engineering-organisasjon for å påmelding nye datasamlinger og utføre funksjonsutvikling. Mens Faro dypper sine AI-egenskaper for å takle flere problemer i klinisk forsøksutvikling, vil denne tilnærmingen være svært relevant og anvendbar på det vi gjør.

Faro Health er bygget rundt å forenkle kompleksiteten i klinisk forsøksdesign med AI. Kommer du fra en ikke-klinisk bakgrunn, hva var “aha-øyeblikket” som gjorde deg til å forstå de spesifikke smertepunktene i protokoll-design som måtte adresseres?

Mitt første “aha-øyeblikk” skjedde da jeg møtte begrepet “Eroom’s Law”. Eroom er ikke en person, det er bare “Moore” stavebaklengs. Dette tungespillet navn er en referanse til det faktum at over de siste 50 årene, har inflasjonsjusterte kliniske legemiddelutviklingskostnader og tidsrammer omtrent doblet seg hver 9. år. Dette går i mot hele informasjonsteknologirevolusjonen, og bare forvirret meg. Det solgte meg faktisk på det faktum at det er et enormt problem å løse her!

Da jeg kom dyptere inn i dette domenet og begynte å forstå de underliggende problemene mer fullstendig, var det mange flere innsikter som dette. En grunnleggende og svært åpenbar en er at Word-dokumenter ikke er en god format for å designe og lagre svært komplekse kliniske forsøk! Dette er en nøkkelobservasjon, født av vår CEO Scotts kliniske erfaring, som Faro ble bygget på. Det er også observasjonen at over tid, tenderer forsøkene å bli mer og mer komplekse, ettersom kliniske studieteam faktisk kopierer og limter tidligere protokoller, og så legger til nye vurderinger for å samle inn mer data. Å gi brukerne så mange verdifulle innsikter som mulig, så tidlig som mulig, i studie-designprosessen er en nøkkelverdi for Faro.

Hva rolle spiller AI i Faros plattform for å sikre raskere og mer nøyaktig klinisk forsøksprotokoll-design? Hvordan skiller Faros “AI Co-Author”-verktøy seg fra andre generative AI-løsninger?

Det kan høres åpenbart, men du kan ikke bare be ChatGPT om å generere et klinisk forsøksprotokoll-dokument. Først og fremst må du ha svært spesifik, strukturert forsøksinformasjon, som tidsplanen for aktivitetene, representert i detalj for å kunne vise riktig informasjon i de svært tekniske seksjonene av protokoll-dokumentet. For det andre er det mange detaljer og spesifikke klausuler som må være til stede i dokumentasjonen for bestemte typer forsøk, og en bestemt stil og detaljnivå som forventes av medisinske forfattere og vurderere. Hos Faro bygde vi et eget protokollevalueringssystem for å sikre at innholdet som den store språkmodellen (LLM) kom opp med, ville møte brukernes og regulatorenes strenge standarder.

Ettersom forsøk for sjeldne sykdommer og immuno-onkologi blir mer komplekse, hvordan sikrer Faro at AI kan møte disse spesialiserte kravene uten å ofre nøyaktighet eller kvalitet?

En modell er bare så god som dataene den er trenet på. Så ettersom fronten av moderne medisin utvikler seg, må vi holde pace ved å trene og teste våre modeller med de siste kliniske forsøkene. Dette krever at vi kontinuerlig utvider vår bibliotek av digitaliserte kliniske protokoller – vi er ekstremt stolte av volumet av kliniske forsøksprotokoller som vi allerede har bragt inn i vår datalager i Faro, og vi prioriterer alltid veksten av denne datasetten. Det krever også at vi læner tungt på vårt interne team av kliniske eksperter, som konstant vurderer utgangen av vår modell og gir eventuelle nødvendige endringer til “evalueringslistene” vi bruker for å sikre dens nøyaktighet og kvalitet.

Faro Healths samarbeid med Veeva og andre ledende selskaper integrerer deres plattform i det videre kliniske forsøks-økosystemet. Hvordan hjelper disse samarbeidene med å strømlinjeforme hele forsøksprosessen, fra protokoll-design til gjennomføring?

Hjertet av et klinisk forsøk er protokollen, som Faros Study Designer hjelper våre kunder med å designe og optimalisere. Protokollen informerer alt nedstrøms om forsøket, men tradisjonelt sett er protokoller designet og lagret i Word-dokumenter. Derfor er en av de store utfordringene i å operasjonalisere klinisk utvikling i dag den konstante transkripsjonen eller “oversettelsen” av data fra protokollen eller andre dokumentbaserte kilder til andre systemer eller selv dokumenter. Som du kan forestille deg, å ha mennesker som manuelt oversetter dokumentbasert informasjon til ulike systemer for hånd, er usedvanlig ineffektivt og introduserer mange muligheter for feil underveis.

Faro’s visjon er en samlet plattform hvor “definisjonen” eller elementene av et klinisk forsøk kan flyte fra designsystemet hvor de først konseptualiseres, nedstrøms til ulike systemer eller når det er nødvendig under den operative fasen av forsøket. Når denne type sømløs informasjonsflyt er på plass, er det en betydelig mulighet for automatisering og forbedret kvalitet, noe som kan dramatisk redusere tiden og kostnadene til å designe og implementere et klinisk forsøk. Vårt samarbeid med Veeva for å koble vår Study Designer til Veeva Vault EDC er bare ett skritt i denne retningen, med mye mer å komme.

Hva er noen av de viktigste utfordringene AI møter i å forenkle kliniske forsøk, og hvordan overvinner Faro disse, spesielt rundt å sikre transparens og unngå problemer som forvrengning eller hallucinasjon i AI-utgang?

Det er en mye høyere standard for kliniske forsøksdokumenter enn i de fleste andre domener. Disse dokumentene påvirker livene til virkelige mennesker, og går derfor gjennom en svært streng regulatorisk gjennomgangsprosess. Da vi først begynte å generere kliniske dokumenter ved hjelp av en LLM, var det klart at med standardmodeller, var utgangen ingen hvor nær møte forventningene. Uventet var tonen, detaljnivået, formateringen – alt – langt unna, og var mye mer rettet mot generell forretningskommunikasjon, enn ekspert-kliniske dokumenter. For sikker var hallucinasjon og også rett og slett utelating av nødvendige detaljer store utfordringer. For å utvikle en generativ AI-løsning som kunne møte den høye standarden for domenspesifisitet og kvalitet som våre brukere forventer, måtte vi tilbringe mye tid sammen med kliniske eksperter for å utvikle retningslinjer og vurderingslister som sikret at vår utgang ikke var hallucinerende eller bare utelot nødvendige detaljer, og hadde riktig tone. Vi måtte også gi kapasiteten for sluttbrukere til å gi sin egen veiledning og korreksjoner til utgangen, ettersom ulike kunder har ulike maler og standarder som styrer deres dokumentforfatterprosess.

Det er også utfordringen at de detaljerte kliniske dataene som trengs for å fullstendig generere forsøksprotokoll-dokumentasjon, må kanskje ikke være lett tilgjengelig, ofte lagret dypt i andre komplekse dokumenter som den undersøkende brosjyren. Vi ser på å bruke AI til å hjelpe med å trekke ut slik informasjon og gjøre den tilgjengelig for bruk i å generere kliniske protokoll-dokumentseksjoner.

Ser du fremover, hvordan ser du på at AI utvikler seg i sammenheng med kliniske forsøk? Hva rolle vil Faro spille i den digitale transformasjonen av dette området over de neste ti årene?

Ettersom tiden går, vil AI hjelpe med å forbedre og optimalisere flere og flere beslutninger og prosesser gjennom hele den kliniske utviklingsprosessen. Vi vil være i stand til å forutsi nøkkelresultater basert på protokoll-designinnganger, som om studieteamet kan forvente rekrutteringsutfordringer, eller om studiet vil kreve en endring på grunn av operative utfordringer. Med denne type prediktiv innsikt, vil vi være i stand til å hjelpe med å optimalisere de nedstrøms operative prosessene av forsøket, og sikre at både steder og pasienter har den beste opplevelsen, og at forsøkets sannsynlighet for operativ suksess er så høy som mulig. I tillegg til å utforske disse mulighetene, planlegger Faro også å fortsette å generere en rekke ulike kliniske dokumenter, så at alle filer og papirarbeidsprosesser av forsøket er effektive og mye mindre feilpregede. Og vi forutser en verden hvor AI gjør vår plattform til en sann designpartner, som engasjerer kliniske vitenskapsmenn i en generativ dialog for å hjelpe dem med å designe forsøk som gjør de riktige avveiingene mellom pasientbyrde, stedsbyrde, tid, kostnad og kompleksitet.

Hvordan påvirker Faros fokus på pasient-sentrert design effektiviteten og suksessen av kliniske forsøk, spesielt i forhold til å redusere pasientbyrde og forbedre studie-tilgjengelighet?

Kliniske forsøk er ofte fanget mellom de konkurrerende behovene til å samle inn mer deltakerdata – som betyr mer vurderinger eller tester for pasienten – og å håndtere en forsøks operative gjennomførbarhet, som evnen til å rekruttere og beholde deltakere. Men pasientrekruttering og -behaldning er noen av de største utfordringene for den vellykkede gjennomføringen av et klinisk forsøk i dag – ifølge noen estimater, så mange som 20-30% av pasienter som velger å delta i et klinisk forsøk, vil til slutt droppe ut på grunn av byrden av deltakelse, inkludert hyppige besøk, invasiv prosedyre og komplekse protokoller. Selv om kliniske forskningsteam er klar over impekten av høybyrdeforsøk på pasienter, kan det være vanskelig å gjøre noe konkrekt for å redusere byrde i praksis. Vi tror at en av barrierene for å redusere pasientbyrde ofte er uvilkårlig evnen til å kvantifisere den – det er vanskelig å måle impekten på pasienter når din design er i et Word-dokument eller en pdf.

Ved å bruke Faros Study Designer, kan kliniske utviklingsteam få sanntidsinnsikt i impekten av deres spesifikke protokoll på pasientbyrde under protokollplanleggingsprosessen selv. Ved å strukturere forsøk og gi analytiske innsikter i deres kostnad, pasientbyrde, kompleksitet tidlig under forsøkets designstadium, gir Faro kliniske forskningsteam en svært effektiv måte å optimalisere sine forsøksdesign ved å balansere disse faktorene mot vitenskapelige behov for å samle inn mer data. Våre kunder elsker faktum at vi gir dem innsikt i pasientbyrde og relaterte mål tidlig i utviklingsprosessen, hvor endringer er enkle å gjøre, og de kan gjøre informerte avveiinger hvor nødvendig. Til slutt har vi sett at våre kunder har spart tusenvis av timer av kollektiv pasienttid, som vi vet vil ha en umiddelbar positiv effekt for studie-deltagerne, samtidig som de også hjelper med å sikre at kliniske forsøk kan både initiere og fullføres i tide.

Hva råd ville du gi til startups eller selskaper som ønsker å integrere AI i sine kliniske forsøksprosesser, basert på dine erfaringer både i Google og Faro?

Her er de viktigste takeaways jeg ville tilby så langt fra vår erfaring med å anvende AI i dette domenet:

1. Del og vurder dine AI-forespørsler. Store språkmodeller som GPT er ikke designet for å produsere klinisk-graderte dokumenter. Så hvis du planlegger å bruke generativ AI til å automatisere klinisk forsøksdokument-forfatter, må du ha en vurderingsramme som sikrer at den genererte utgangen er nøyaktig, fullstendig, har riktig detaljnivå og tone, og så videre. Dette krever mye omhyggelig testing av modellen, ledet av kliniske eksperter.
2. Bruk en strukturert representasjon av et forsøk. Det er ingen måte du kan generere de nødvendige data-analytikken for å designe et optimalt klinisk forsøk uten en strukturert repository. Mange selskaper i dag bruker Word-dokumenter – ikke engang Excel! – for å modellere kliniske forsøk. Dette må gjøres med en strukturert domene-modell som nøyaktig representerer kompleksiteten av et forsøk – dens skjema, mål og endepunkter, tidsplan for vurderinger, og så videre. Dette krever mye innsats og tilbakemelding fra kliniske eksperter.
3. Kliniske eksperter er avgjørende for kvalitet. Som sett i de to foregående punktene, å ha kliniske eksperter direkte involvert i design og testing av ethvert AI-basert klinisk utviklingssystem er absolutt kritisk. Dette er mye mer enn i noen andre domener jeg har arbeidet i, bare fordi kunnskapen som kreves er så spesialisert, detaljert og gjennomtrenger hver enkelt produkt du forsøker å bygge i dette området.

Vi prøver stadig nye ting og deler jevnlig våre funn på vår blogg for å hjelpe selskaper med å navigere i dette området.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Faro Health.