Patrick Leung, CTO of Faro Health – Intervieuserie

Patrick Leung, CTO of Faro Health, driver selskabets AI-drevne platform, der forenkler og fremskynder klinisk prøveprotokoldesign. Faro Healths værktøjer forbedrer effektiviteten, standardiseringen og nøjagtigheden i prøveplanlægningen, ved at integrere data-drevne indsigt og strømlinede processer for at reducere prøverisici, omkostninger og patientbyrde.

Faro Health giver kliniske forskningsteams mulighed for at udvikle optimerede, standardiserede prøveprotokoller hurtigere, og fremmer innovationen i klinisk forskning.

Du tilbragte mange år med at bygge AI på Google (GOOGL ). Hvad var nogle af de mest spændende projekter, du arbejdede på under din tid på Google, og hvordan formede disse erfaringer din tilgang til AI?

Jeg var på holdet, der byggede Google Duplex, et konversations-AI-system, der ringede til restauranter og andre virksomheder på brugernes vegne. Dette var et top-hemmeligt projekt, der var fuldt af ekstremt talentfulde mennesker. Holdet var hurtigt og konstant prøvede nye ideer, og der var cool demos af de seneste ting, folk arbejdede på hver uge. Det var meget inspirerende at være på et hold som det.

En af de mange ting, jeg lærte på dette hold, er, at selv når du arbejder med de seneste AI-modeller, skal du nogle gange bare være skrap for at få den brugeroplevelse og værdi, du ønsker. For at generere hyper-realistiske verbale samtaler, syede holdet sammen optagelser med temporisatorer som “um” for at gøre samtalen lyde mere naturlig. Det var så meget sjovt at læse, hvad pressen havde at sige om, hvorfor “um”-lydene var der, efter vi lancerede!

Både du og CEO’en af Faro kommer fra store teknologivirksomheder. Hvordan har din tidligere erfaring påvirket udviklingen og strategien for Faro?

Jeg har flere gange i min karriere bygget virksomheder, der sælger forskellige produkter og tjenester til store virksomheder. Faro sigter også mod verdens største lægemiddelvirksomheder, så der er en masse erfaring om, hvad det kræver for at vinde over og samarbejde med store virksomheder, der er meget relevant her. At arbejde på Two Sigma, en stor algoritme-drevet hedgefond i New York City, formede, hvordan jeg tilgangen til datavidenskab. De har en rigorøs hypotesedrevet proces, hvor alle nye ideer kommer ind i en forskningsplan og testes grundigt. De har også en meget veludviklet data-engineering-organisation for at påbegynde nye data-sæt og udføre funktionel udvikling. Da Faro dykker dybere i AI-kapaciteter for at tackle flere problemer i klinisk prøveudvikling, vil denne tilgang være meget relevant og anvendelig på, hvad vi gør.

Faro Health er bygget op omkring at forenkle kompleksiteten af klinisk prøve-design med AI. Kommer du fra en ikke-klinisk baggrund, hvad var det “aha-øjeblik”, der fik dig til at forstå de specifikke udfordringer i protokoldesign, der skulle løses?

Mit første “aha-øjeblik” skete, da jeg stødte på begrebet “Eroom’s Law”. Eroom er ikke en person, det er bare “Moore” stavet baglæns. Dette spøgefulde navn er en reference til, at over de sidste 50 år, inflation justerede kliniske lægemiddeludviklingsomkostninger og tidsrammer er næsten fordoblet hvert 9. år. Dette går imod hele informations-teknologirevolutionen, og blot slog mig med, at der er et enormt problem at løse her!

Da jeg dykkede dybere ind i dette domæne og begyndte at forstå de underliggende problemer mere fuldt, var der mange flere indsigt som denne. En grundlæggende og meget åbenlys indsigt er, at Word-dokumenter ikke er en god format til at designe og gemme meget komplekse kliniske prøver! Dette er en vigtig iagttagelse, der stammer fra vores CEO Scotts kliniske erfaring, som Faro blev bygget på. Der er også iagttagelsen af, at prøver over tid tenderer til at blive mere og mere komplekse, da kliniske studiehold bogstaveligt tager og indsætter tidligere protokoller og tilføjer nye vurderinger for at indsamle mere data. At give brugerne så mange værdifulde indsigt som muligt, så tidligt som muligt i studie-designprocessen, er en nøgleværdi for Faro.

Hvad rolle spiller AI i Faros platform for at sikre hurtigere og mere præcis klinisk prøveprotokoldesign? Hvordan adskiller Faros “AI Co-Author”-værktøj sig fra andre generative AI-løsninger?

Det lyder måske åbenlyst, men du kan ikke bare bede ChatGPT om at generere et klinisk prøveprotokoldokument. Først og fremmest skal du have meget specifik, struktureret prøveinformation, såsom tidsplanen for aktiviteter, repræsenteret i detaljer for at fremhæve den rigtige information i de meget tekniske sektioner af protokoldokumentet. For det andet er der mange detaljer og specifikke klausuler, der skal være til stede i dokumentationen for bestemte typer prøver, og en bestemt stil og niveau af detaljer, der forventes af medicinske forfattere og anmeldere. Hos Faro har vi bygget et proprietært protokolevalueringssystem for at sikre, at indholdet, den store sprogmodel (LLM) kommer med, opfylder brugernes og myndighedernes strenge standarder.

Da prøver for sjældne sygdomme og immuno-onkologi bliver mere komplekse, hvordan sikrer Faro, at AI kan møde disse specialiserede krav uden at gå på kompromis med nøjagtighed eller kvalitet?

En model er kun så god som de data, den er trænet på. Så da fronten for moderne medicin avancerer, skal vi holde trit med at træne og teste vores modeller med de seneste kliniske prøver. Dette kræver, at vi kontinuerligt udvider vores bibliotek af digitaliserede kliniske protokoller – vi er ekstremt stolte af volumen af kliniske prøveprotokoller, vi allerede har bragt ind i vores data-bibliotek på Faro, og vi prioriterer altid væksten af dette datasæt. Det kræver også, at vi læner tungt på vores interne team af kliniske eksperter, der konstant vurderer modellens output og giver eventuelle ændringer til “evalueringschecklisterne”, vi bruger til at sikre dens nøjagtighed og kvalitet.

Faros samarbejde med Veeva og andre førende virksomheder integrerer jeres platform i det bredere kliniske prøvemiljø. Hvordan hjælper disse samarbejder med at strømline hele prøveprocessen, fra protokoldesign til gennemførelse?

Hjertet af en klinisk prøve er protokollen, som Faros Study Designer hjælper vores kunder med at designe og optimere. Protokollen informerer alt nedstrøms om prøven, men traditionelt er protokoller designet og gemt i Word-dokumenter. Derfor er en af de store udfordringer i operationalisering af klinisk udvikling i dag den konstante transskription eller “oversættelse” af data fra protokollen eller andre dokument-baserede kilder til andre systemer eller endda andre dokumenter. Som du kan forestille dig, er det meget ineffektivt at have mennesker, der manuelt oversætter dokument-baseret information til andre systemer, og det introducerer mange muligheder for fejl undervejs.

Faros vision er en samlet platform, hvor “definitionen” eller elementerne af en klinisk prøve kan flyde fra designsystemet, hvor de først koncepteres, nedstrøms til forskellige systemer eller når det er nødvendigt under den operationelle fase af prøven. Når denne type seamless informationsflow er på plads, er der en betydelig mulighed for automation og forbedret kvalitet, hvilket betyder, at vi kan dramatisk reducere tiden og omkostningerne ved at designe og implementere en klinisk prøve. Vores samarbejde med Veeva for at tilslutte vores Study Designer til Veeva Vault EDC er kun ét skridt i denne retning, med meget mere at komme.

Hvad er nogle af de største udfordringer, AI står overfor i at forenkle kliniske prøver, og hvordan overvinder Faro dem, især omkring sikring af gennemsigtighed og undgåelse af problemer som bias eller hallucination i AI-outputs?

Der er en meget højere standard for kliniske prøvedokumenter end i de fleste andre domæner. Disse dokumenter påvirker livene af rigtige mennesker og passerer derfor gennem en meget streng myndigheds-gennemgangsproces. Da vi først startede med at generere kliniske dokumenter ved hjælp af en LLM, var det klart, at med standard-modeller, var outputtet ikke nær ved at møde forventningerne. Uventet var tonen, niveauet af detaljer, formatering – alt – langt fra, og var meget mere orienteret mod generel forretningskommunikation end eksperter i klinisk grad. For sikkert var hallucination og også direkte udeladelse af nødvendige detaljer store udfordringer. For at udvikle en generativ AI-løsning, der kunne møde den høje standard for domænespecifik og kvalitet, som vores brugere forventer, måtte vi bruge meget tid på at samarbejde med kliniske eksperter for at udvikle retningslinjer og evalueringsskemaer, der sikrer, at vores output ikke hallucinerer eller udelader nøgle detaljer, og har den rigtige tone. Vi måtte også give brugerne mulighed for at give deres egen vejledning og korrektioner til outputtet, da forskellige kunder har forskellige skabeloner og standarder, der vejleder deres dokumentationsproces.

I fremtiden, hvordan ser du AI udvikle sig i konteksten af kliniske prøver? Hvad rolle vil Faro spille i den digitale transformation af dette område i de næste 10 år?

Da tiden går, vil AI hjælpe med at forbedre og optimere flere og flere beslutninger og processer i hele den kliniske udviklingsproces. Vi vil være i stand til at forudsige nøgle-udkomme baseret på protokoldesign-input, som om studieholdet kan forvente indskrivningsudfordringer, eller om studiet vil kræve en ændring på grund af operationelle udfordringer. Med den slags forudsigelige indsigt vil vi være i stand til at hjælpe med at optimere den nedstrøms operation af prøven, så både steder og patienter har den bedste oplevelse, og at prøvens sandsynlighed for operationel succes er så høj som muligt. Ud over at udforske disse muligheder planlægger Faro også at fortsætte med at generere en række forskellige kliniske dokumenter, så alle filerings- og papirarbejdsprocesser i prøven er effektive og mindre fejlbehæftede. Og vi forestiller os en verden, hvor AI gør vores platform til en sand designpartner, der engagerer kliniske videnskabsmænd i en generativ dialog for at hjælpe dem med at designe prøver, der gør de rigtige kompromiser mellem patientbyrde, stedbyrde, tid, omkostninger og kompleksitet.

Hvorledes Faros fokus på patientcentreret design påvirker effektiviteten og succesen af kliniske prøver, især i forhold til at reducere patientbyrde og forbedre studieadgang?

Kliniske prøver er ofte fanget mellem de modsatrettede behov for at indsamle mere deltagerdata – hvilket betyder mere vurderinger eller tests for patienten – og at styre en prøves operationelle gennemførlighed, såsom dens evne til at indskrive og fastholde deltagere. Men patientrekruttering og -fastholdelse er nogle af de største udfordringer for den succesfulde gennemførelse af en klinisk prøve i dag – ifølge nogle estimeringer vil op til 20-30% af patienter, der vælger at deltage i en klinisk prøve, ultimate droppe ud på grund af byrden ved deltagelse, herunder hyppige besøg, invasive procedurer og komplekse protokoller. Selvom kliniske forskningsteams er klar over indvirkningen af højbyrdeprøver på patienter, kan det være svært at gøre noget konkrekt for at reducere byrden i praksis. Vi mener, at en af barriererne for at reducere patientbyrde ofte er manglen på mulighed for at kvantificere den – det er svært at måle indvirkningen på patienter, når din design er i et Word-dokument eller en pdf.

Med Faros Study Designer kan kliniske udviklingsteams få realtidsindsigt i indvirkningen af deres specifikke protokol på patientbyrde under selv protokoldesignprocessen. Ved at strukturere prøver og give analytiske indsigt i deres omkostninger, patientbyrde, kompleksitet tidligt i prøvedesignfasen giver Faro kliniske forskningsteams en meget effektiv måde at optimere deres prøvedesign ved at balancere disse faktorer mod videnskabelige behov for at indsamle mere data. Vores kunder elsker det faktum, at vi giver dem indsigt i patientbyrde og relaterede metrikker på et tidspunkt i udviklingen, hvor ændringer er lette at gøre, og de kan træffe informerede valg, hvor nødvendigt. Til sidst har vi set, at vores kunder har sparet tusinder af timer af samlet patienttid, som vi ved vil have en umiddelbar positiv indvirkning på studie-deltagerne, samtidig med at det hjælper med at sikre, at kliniske prøver både kan starte og afsluttes på tid.

Hvad råd ville du give til startups eller virksomheder, der søger at integrere AI i deres kliniske prøveprocesser, baseret på din erfaring på både Google og Faro?

Her er de vigtigste takeaways, jeg ville tilbyde indtil videre fra vores erfaring med at anvende AI til dette domæne:

1. Del og vurder AI-prompts. Store sprogmodeller som GPT er ikke designet til at producere klinisk grad-dokumentation. Så hvis du planlægger at bruge gen-AI til at automatisere klinisk prøvedokumentation, skal du have en vurderingsramme, der sikrer, at den genererede output er nøjagtig, fuldstændig, har det rigtige niveau af detaljer og tone, og så videre. Dette kræver meget omhyggelig testning af modellen, vejledt af kliniske eksperter.
2. Brug en struktureret repræsentation af en prøve. Der er ingen måde, du kan generere de nødvendige data-analyser for at designe en optimal klinisk prøve uden en struktureret repository. Mange virksomheder i dag bruger Word-dokumenter – ikke engang Excel! – til at modellere kliniske prøver. Dette skal gøres med en struktureret domæne-model, der nøjagtigt repræsenterer kompleksiteten af en prøve – dets skema, mål og endepunkter, tidsplan for vurderinger, og så videre. Dette kræver meget input og feedback fra kliniske eksperter.
3. Kliniske eksperter er afgørende for kvalitet. Som set i de to foregående punkter er det at have kliniske eksperter direkte involveret i design og test af enhver AI-baseret klinisk udviklingssystem absolut kritisk. Dette er meget mere end i noget andet domæne, jeg har arbejdet i, simpelthen fordi viden krævet er så specialiseret, detaljeret og gennemsyrer enhver produkt, du forsøger at bygge i dette område.

Vi er konstant i gang med at prøve nye ting og deler jævnligt vores resultater på vores blog for at hjælpe virksomheder med at navigere i dette område.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Faro Health.