Patrick Leung, CTO al Faro Health – Seria de interviuri

Patrick Leung, CTO al Faro Health, conduce platforma companiei bazată pe AI, care simplifică și accelerează proiectarea protocolului de încercări clinice. Uneltele Faro Health îmbunătățesc eficiența, standardizarea și acuratețea în planificarea încercărilor, integrând informații bazate pe date și procese eficientizate pentru a reduce riscurile, costurile și sarcina pacienților.

Faro Health împuternicește echipele de cercetare clinică să dezvolte protocoale de încercări optimizate și standardizate mai rapid, promovând inovația în cercetarea clinică.

Atunci când ați petrecut mulți ani construind AI la Google (GOOGL ). Care au fost cele mai interesante proiecte la care ați lucrat în timpul șederii dvs. la Google, și cum au influențat aceste experiențe abordarea dvs. față de AI?

Am fost în echipa care a construit Google Duplex, un sistem de conversație AI care a sunat restaurante și alte afaceri în numele utilizatorului. Acesta a fost un proiect secret, plin de oameni extrem de talentați. Echipa era rapidă, încercând mereu lucruri noi, și erau demonstrații cool ale celor mai recente lucruri pe care oamenii le lucrau în fiecare săptămână. A fost inspirațional să fiu într-o echipă ca aceasta.

Una dintre multele lucruri pe care le-am învățat în acest proiect este că, chiar și atunci când lucrați cu cele mai recente modele de AI, uneori trebuie să fiți pur și simplu inventivi pentru a obține experiența și valoarea pe care o doriți pentru utilizator. Pentru a genera conversații verbale hiper-realiste, echipa a combinat înregistrări cu temporizatori precum “ăă” pentru a face conversația să sune mai naturală. A fost atât de amuzant să citesc ce spunea presa despre de ce erau acei “ăă” acolo după lansare!

Atât dvs., cât și CEO-ul Faro proveniți din companii tehnologice mari. Cum a influențat experiența dvs. anterioară dezvoltarea și strategia Faro?

De mai multe ori în cariera mea, am construit companii care vând diverse produse și servicii către companii mari. Faro își propune, de asemenea, să țintească cele mai mari companii farmaceutice din lume, astfel că există multă experiență în ceea ce privește ceea ce este necesar pentru a cuceri și a colabora cu întreprinderi mari, care este foarte relevant aici. Lucrul la Two Sigma, un fond de tranzacționare algoritmică mare din New York, mi-a modelat abordarea științei datelor. Ei au un proces riguros, bazat pe ipoteze, în care toate noile idei intră într-un plan de cercetare și sunt testate minuțios. De asemenea, au o organizație de inginerie a datelor bine dezvoltată pentru integrarea noilor seturi de date și efectuarea ingineriei de caracteristici. Pe măsură ce Faro își adâncește capacitățile de AI pentru a aborda mai multe probleme în dezvoltarea încercărilor clinice, această abordare va fi foarte relevantă și aplicabilă a ceea ce facem.

Faro Health este construită în jurul simplificării complexității proiectării încercărilor clinice cu AI. Venind dintr-un mediu non-clinic, care a fost “momentul de revelație” care v-a făcut să înțelegeți punctele dureroase specifice din proiectarea protocolului care trebuiau abordate?

Primul meu “moment de revelație” a avut loc când am întâlnit conceptul de “Legea Eroom”. Eroom nu este o persoană, este doar “Moore” scris invers. Această denumire este o referință la faptul că, în ultimii 50 de ani, costurile și termenele de dezvoltare a medicamentelor clinice, ajustate pentru inflație, au crescut aproximativ de două ori la fiecare 9 ani. Acest lucru este în contradicție cu întreaga revoluție a tehnologiei informației și m-a lăsat perplex. Mi-a demonstrat cu adevărat că există o problemă enormă de rezolvat!

Pe măsură ce am pătruns mai adânc în acest domeniu și am început să înțeleg problemele de bază mai pe deplin, au existat multe alte insight-uri de acest gen. Unul fundamental și foarte evident este că documentele Word nu sunt un format bun pentru a proiecta și stoca încercări clinice complexe! Aceasta este o observație cheie, născută din experiența clinică a CEO-ului nostru Scott, pe care Faro a fost construită. De asemenea, există observația că, în timp, încercările clinice tind să devină tot mai complexe, deoarece echipele de studii clinice copiază și lipește protocoale trecute, și apoi adaugă noi evaluări pentru a colecta mai multe date. Furnizarea utilizatorilor cu cât mai multe insight-uri valoroase, cât mai devreme, în procesul de proiectare a studiului este o valoare cheie pentru Faro.

Care este rolul jucat de AI în platforma Faro pentru a asigura o proiectare mai rapidă și mai precisă a protocolului de încercări clinice? Cum se diferențiază instrumentul “Co-Autor AI” al Faro de alte soluții de AI generative?

Este poate evident, dar nu puteți pur și simplu să cereți ChatGPT să genereze un document de protocol de încercare clinică. În primul rând, trebuie să aveți informații de încercare foarte specifice și structurate, precum Programul de activități, reprezentate în detaliu pentru a putea prezenta informațiile corecte în secțiunile tehnice ale documentului de protocol. În al doilea rând, există multe detalii și clauze specifice care trebuie să fie prezente în documentație pentru anumite tipuri de încercări, și un anumit stil și nivel de detaliu care este așteptat de către scriitorii medicali și reviewerii. La Faro, am construit un sistem de evaluare a protocolului pentru a asigura că conținutul generat de modelul de limbaj mare (LLM) va îndeplini standardele exacte ale utilizatorilor și ale regulatorilor.

Pe măsură ce încercările pentru boli rare și imunooncologie devin mai complexe, cum asigură Faro că AI poate satisface aceste cerințe specializate fără a sacrifica acuratețea sau calitatea?

Un model este la fel de bun ca și datele cu care este antrenat. Astfel, pe măsură ce frontiera medicinei moderne avansează, trebuie să ținem pasul prin antrenarea și testarea modelelor noastre cu cele mai recente încercări clinice. Acest lucru necesită ca noi să extindem în mod constant biblioteca noastră de protocoale clinice digitizate – suntem extrem de mândri de volumul de protocoale de încercări clinice pe care le-am adus deja în biblioteca noastră de date la Faro, și suntem întotdeauna prioritați pentru creșterea acestui set de date. De asemenea, necesită ca noi să ne bazăm puternic pe echipa noastră internă de experți clinicieni, care evaluează în mod constant ieșirile modelului nostru și furnizează orice modificări necesare “listelor de verificare a evaluării” pe care le folosim pentru a asigura acuratețea și calitatea.

Parteneriatul Faro cu Veeva și alte companii lider integratează platforma dvs. în ecosistemul mai larg al încercărilor clinice. Cum ajută aceste colaborări la eficientizarea întregului proces de încercare, de la proiectarea protocolului la execuție?

Inima unei încercări clinice este protocolul, pe care Study Designer-ul Faro îl ajută clienții noștri să îl proiecteze și să îl optimizeze. Protocolul informează totul în aval despre încercare, dar, în mod tradițional, protocoalele sunt proiectate și stocate în documente Word. Astfel, una dintre marile provocări în operaționalizarea dezvoltării clinice astăzi este transcrierea constantă sau “traducerea” datelor din protocol sau din alte surse documentare în alte sisteme sau chiar în alte documente. Așa cum vă puteți imagina, având oameni care traduc manual informații din documente în sisteme sau în alte documente este incredibil de ineficient și introduce multe oportunități de erori pe parcurs.

Faro are o viziune a unei platforme unificate în care “definiția” sau elementele unei încercări clinice pot curge de la sistemul de proiectare în care sunt concepute pentru prima dată, în aval, către diverse sisteme sau necesare în faza operațională a încercării. Când acest tip de flux de informații fără întrerupere este în loc, există o oportunitate semnificativă pentru automatizare și îmbunătățire a calității, ceea ce ne permite să reducem dramatic timpul și costul proiectării și implementării unei încercări clinice. Parteneriatul nostru cu Veeva pentru a conecta Study Designer-ul nostru la Veeva Vault EDC este doar un pas în această direcție, cu multe altele care urmează.

Care sunt unele dintre principalele provocări cu care se confruntă AI în simplificarea încercărilor clinice, și cum depășește Faro acestea, în special în ceea ce privește asigurarea transparenței și evitarea problemelor precum polarizarea sau halucinația în ieșirile AI?

Există o bară mult mai înaltă pentru documentele de încercări clinice decât în majoritatea celorlalte domenii. Aceste documente afectează viețile unor oameni reali și, prin urmare, trec printr-un proces de revizuire regulamentară foarte exigent. Când am început să generăm documente clinice folosind un LLM, a fost clar că, cu modelele standard, ieșirea nu era nici pe departe aproape de a îndeplini așteptările. Nu este de mirare că tonul, nivelul de detaliu, formatarea – totul – era complet greșit și era mult mai orientat către comunicări de afaceri generale, și nu către documente clinice de calitate expert. Pentru a dezvolta o soluție de AI generativă care să poată îndeplini standardele înalte de specificitate de domeniu și calitate pe care utilizatorii noștri le așteaptă, am trebuit să petrecem mult timp colaborând cu experți clinicieni pentru a concepe ghiduri și liste de verificare a evaluării care să asigure că ieșirea noastră nu halucina sau omitea pur și simplu detalii cheie, și avea tonul corect. De asemenea, am trebuit să oferim capacitatea pentru utilizatorii finali să furnizeze propriile lor îndrumări și corecții ieșirii, deoarece diferiți clienți au șabloane și standarde diferite care călăuzesc procesul de autorare a documentelor.

Privind spre viitor, cum vedeți evoluția AI în contextul încercărilor clinice? Care va fi rolul Faro în transformarea digitală a acestui spațiu în următorul deceniu?

Pe măsură ce timpul trece, AI va ajuta la îmbunătățirea și optimizarea deciziilor și proceselor din tot procesul de dezvoltare clinică. Vom putea prevedea rezultate cheie pe baza intrărilor de proiectare a protocolului, precum dacă echipa de studiu se poate aștepta la provocări de înscriere, sau dacă studiul va necesita o amendamentare din cauza provocărilor operaționale. Cu acest tip de insight predictiv, vom putea ajuta la optimizarea operațiunilor în aval ale încercării, asigurându-ne că atât site-urile, cât și pacienții au cea mai bună experiență, și că șansele de succes operațional al încercării sunt cât mai mari. Pe lângă explorarea acestor posibilități, Faro intenționează, de asemenea, să continue generarea unei game de documentații clinice diferite, astfel încât toate procesele de depunere și de lucru ale încercării să fie eficiente și mult mai puțin predispuse la erori. Și ne imaginăm o lume în care AI permite platformei noastre să devină un adevărat partener de proiectare, implicând oameni de știință clinicieni într-un dialog generativ pentru a ajuta la proiectarea încercărilor care fac schimburile corecte între sarcina pacientului, sarcina site-ului, timp, cost și complexitate.

Cum afectează focalizarea Faro asupra proiectării centrate pe pacient eficiența și succesul încercărilor clinice, în special în ceea ce privește reducerea sarcinii pacientului și îmbunătățirea accesibilității studiului?

Încercările clinice sunt adesea prinsă între nevoile concurente de a colecta mai multe date ale participanților – ceea ce înseamnă mai multe evaluări sau teste pentru pacient – și de a gestiona fezabilitatea operațională a încercării, cum ar fi capacitatea sa de a înscrie și de a păstra participanții. Dar recrutarea și reținerea pacienților sunt unele dintre cele mai semnificative provocări pentru finalizarea cu succes a unei încercări clinice astăzi – conform unor estimări, până la 20-30% dintre pacienți care aleg să participe la o încercare clinică vor renunța în cele din urmă din cauza sarcinii participării, inclusiv vizite frecvente, proceduri invazive și protocoale complexe. Deși echipele de cercetare clinică sunt conștiente de impactul încercărilor cu sarcină ridicată asupra pacienților, este greu să facă ceva concret pentru a reduce sarcina în practică. Credem că unul dintre barierile pentru reducerea sarcinii pacientului este adesea incapacitatea de a cuantifica cu ușurință – este greu de măsurat impactul asupra pacienților atunci când proiectarea dvs. se află într-un document Word sau într-un pdf.

Utilizând Study Designer-ul Faro, echipele de dezvoltare clinică pot obține insight-uri în timp real asupra impactului protocolului lor specific asupra sarcinii pacientului în timpul procesului de planificare a protocolului. Prin structurarea încercărilor și oferirea de insight-uri analitice asupra costului, sarcinii pacientului, complexității, devreme în faza de proiectare a încercării, Faro oferă echipelor de cercetare clinică un mod foarte eficient de a-și optimiza proiectarea încercărilor, echilibrând aceste factori împotriva nevoilor științifice de a colecta mai multe date. Clienții noștri iubesc faptul că le oferim vizibilitate asupra sarcinii pacientului și a metricilor conexe într-un moment din dezvoltare în care schimbările sunt ușor de făcut, și pot face schimbări informate atunci când este necesar. În cele din urmă, am văzut clienții noștri salvând mii de ore de timp colectiv al pacienților, ceea ce știm că va avea un impact pozitiv imediat pentru participanții la studiu, și va ajuta, de asemenea, la asigurarea faptului că încercările clinice pot atât iniția, cât și finaliza la timp.

Ce sfaturi ați da startup-urilor sau companiilor care doresc să integreze AI în procesele lor de încercări clinice, pe baza experienței dvs. la Google și Faro?

Iată principalele concluzii pe care le-aș oferi până acum din experiența noastră de aplicare a AI în acest domeniu:

1. Împărțiți și evaluați prompturile dvs. de AI. Modelele de limbaj mare, cum ar fi GPT, nu sunt concepute pentru a produce documentație clinică de calitate. Deci, dacă intenționați să utilizați AI generativ pentru a automatiza autorizarea documentelor de încercări clinice, trebuie să aveți un cadru de evaluare care să asigure că ieșirea generată este precisă, completă, are nivelul corect de detaliu și ton, și așa mai departe. Acest lucru necesită multă testare atentă a modelului, condusă de experți clinicieni.
2. Folosiți o reprezentare structurată a unei încercări. Nu există nicio modalitate de a genera analizele de date necesare pentru a proiecta o încercare clinică optimă fără o reprezentare structurată. Multe companii folosesc astăzi documente Word – nu chiar Excel! – pentru a modela încercări clinice. Acest lucru trebuie făcut cu un model de domeniu structurat care reprezintă cu acuratețe complexitatea unei încercări – schema sa, obiectivele și punctele finale, programul de evaluări, și așa mai departe. Acest lucru necesită multă intrare și feedback de la experți clinicieni.
3. Experții clinicieni sunt cruciali pentru calitate. Așa cum s-a văzut în cele două puncte anterioare, având experți clinicieni direct implicați în proiectarea și testarea oricărui sistem de dezvoltare clinică bazat pe AI este absolut critic. Acest lucru este mult mai important decât orice alt domeniu în care am lucrat, pur și simplu pentru că cunoștințele necesare sunt atât de specializate, detaliate și se regăsesc în orice produs pe care încercăm să îl construim în acest spațiu.

Suntem în permanență deschiși la încercarea de lucruri noi și împărtășim în mod regulat descoperirile noastre pe blog-ul nostru pentru a ajuta companiile să navigheze în acest spațiu.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre Faro Health.