Patrick Leung, CTO Faro Health – Wywiad z serii

Patrick Leung, CTO Faro Health, stoi na czele platformy wykorzystującej sztuczną inteligencję, która upraszcza i przyspiesza projektowanie protokołu badań klinicznych. Narzędzia Faro Health zwiększają wydajność, standaryzację i dokładność w planowaniu badań, integrując dane i procesy, aby zmniejszyć ryzyko, koszty i obciążenie pacjentów.

Faro Health umożliwia zespołom badawczym opracowanie optymalnych, standaryzowanych protokołów badań w szybszym tempie, przyczyniając się do innowacji w badaniach klinicznych.

Spending many years building AI at Google (GOOGL ). What were some of the most exciting projects you worked on during your time at Google, and how did those experiences shape your approach to AI?

Byłem w zespole, który zbudował Google Duplex, system sztucznej inteligencji, który dzwonił do restauracji i innych firm w imieniu użytkownika. To był tajny projekt pełen niezwykle utalentowanych ludzi. Zespół pracował szybko, ciągle próbując nowych pomysłów, a co tydzień były fajne demonstracje najnowszych osiągnięć. Było inspirujące być częścią takiego zespołu.

Jedną z wielu rzeczy, które nauczyłem się w tym zespole, jest to, że nawet pracując z najnowocześniejszymi modelami AI, czasem po prostu trzeba być wytrwałym, aby osiągnąć pożądany efekt i wartość. Aby wygenerować bardzo realistyczne rozmowy, zespół łączył nagrania z pauzami, takimi jak „um”, aby rozmowa brzmiała bardziej naturalnie. Było tak fajnie czytać, co prasa napisała o tym, dlaczego te „um” były tam po naszym uruchomieniu!

Both you and the CEO of Faro come from large tech companies. How has your past experience influenced the development and strategy of Faro?

Kilka razy w mojej karierze budowałem firmy, które sprzedawały różne produkty i usługi dużym firmom. Faro również kieruje się do największych firm farmaceutycznych, więc jest wiele doświadczenia w tym, co jest potrzebne, aby wygrać i współpracować z dużymi przedsiębiorstwami, co jest bardzo istotne tutaj. Praca w Two Sigma, dużej firmie inwestycyjnej z Nowego Jorku, ukształtowała moje podejście do nauki danych. Mają one rygorystyczny proces oparty na hipotezach, w którym wszystkie nowe pomysły są testowane. Mają również bardzo dobrze rozwiniętą organizację inżynierii danych do wdrożenia nowych zestawów danych i wykonania inżynierii cech. Gdy Faro pogłębia swoje możliwości AI, aby rozwiązać więcej problemów w rozwoju badań klinicznych, ten podejście będzie bardzo istotne i stosowane do tego, co robimy.

Faro Health is built around simplifying the complexity of clinical trial design with AI. Coming from a non-clinical background, what was the “aha moment” that led you to understand the specific pain points in protocol design that needed to be addressed?

Mój pierwszy „aha moment” nastąpił, gdy spotkałem się z pojęciem „Eroom’s Law”. Eroom nie jest osobą, ale „Moore” pisane od tyłu. To żartobliwa nazwa, odnosząca się do faktu, że w ciągu ostatnich 50 lat koszty i czas rozwoju leków klinicznych wzrosły dwukrotnie co 9 lat. To idzie wbrew całej rewolucji technologicznej, i po prostu zaskakuje. To naprawdę przekonało mnie, że jest ogromny problem do rozwiązania!

Gdy zagłębiłem się w tę dziedzinę i zacząłem lepiej rozumieć podstawowe problemy, było wiele więcej takich spostrzeżeń. Podstawowe i bardzo oczywiste jest to, że dokumenty Word nie są dobrym formatem do projektowania i przechowywania złożonych badań klinicznych! To kluczowe spostrzeżenie, wynikające z doświadczenia naszego CEO Scotta, na którym Faro zostało zbudowane. Istnieje również spostrzeżenie, że z czasem badania stają się coraz bardziej złożone, ponieważ zespoły badań klinicznych literalnie kopiują i wklejają poprzednie protokoły, a następnie dodają nowe oceny, aby zebrać więcej danych. Zapewnienie użytkownikom jak najwięcej cennych spostrzeżeń jak najwcześniej w procesie projektowania badania jest kluczową wartością dla Faro.

What role does AI play in Faro’s platform to ensure faster and more accurate clinical trial protocol design? How does Faro’s “AI Co-Author” tool differentiate from other generative AI solutions?

Może to brzmieć oczywiście, ale nie można po prostu poprosić ChatGPT o wygenerowanie dokumentu protokołu badania klinicznego. Po pierwsze, trzeba mieć bardzo szczegółowe, ustrukturyzowane informacje o badaniu, takie jak Harmonogram Działań, aby wyświetlić odpowiednie informacje w technicznych sekcjach dokumentu protokołu. Po drugie, istnieje wiele detali i konkretnych klauzul, które muszą być obecne w dokumentacji dla pewnych typów badań, a także określony styl i poziom szczegółowości, jaki oczekują autorzy i recenzenci medyczni. W Faro zbudowaliśmy własny system oceny protokołu, aby upewnić się, że treść generowana przez duży model językowy (LLM) spełnia surowe standardy, jakich oczekują nasi użytkownicy i regulatorzy.

As trials for rare diseases and immuno-oncology become more complex, how does Faro ensure that AI can meet these specialized demands without sacrificing accuracy or quality?

Model jest tylko tak dobry, jak dane, na których został wyszkolony. Gdy więc granica nowoczesnej medycyny posuwa się do przodu, musimy nadążyć, szkoląc i testując nasze modele z najnowszymi badaniami klinicznymi. To wymaga ciągłego rozszerzania naszej biblioteki zdigitalizowanych protokołów badań klinicznych – jesteśmy niezwykle dumni z ilości protokołów badań klinicznych, które już wprowadziliśmy do naszej biblioteki danych w Faro, i zawsze priorytetowo traktujemy rozwój tego zestawu danych. Wymaga to również, abyśmy silnie opierali się na naszym zespole ekspertów klinicznych, którzy ciągle oceniają wyniki naszego modelu i wprowadzają niezbędne zmiany w „listach kontrolnych oceny”, których używamy, aby zapewnić jego dokładność i jakość.

Faro’s partnership with Veeva and other leading companies integrates your platform into the wider clinical trial ecosystem. How do these collaborations help streamline the entire trial process, from protocol design to execution?

Serdeczne Faro to platforma Study Designer, która pomaga naszym klientom projektować i optymalizować badania. Protokół informuje o wszystkim, co dzieje się później w badaniu, ale tradycyjnie protokoły są projektowane i przechowywane w dokumentach Word. Jednym z dużych wyzwań w operacjonalizacji rozwoju klinicznego dzisiaj jest ciągłe transkrybowanie lub „tłumaczenie” danych z protokołu lub innych źródeł dokumentów do innych systemów lub nawet innych dokumentów. Jak można się spodziewać, ludzie wykonujący te zadania ręcznie wprowadzają wiele błędów po drodze.

Wizja Faro to zjednoczona platforma, w której „definicja” lub elementy badania klinicznego mogą płynnie przechodzić od systemu projektowania, w którym są po raz pierwszy opracowane, do różnych systemów lub potrzebnych podczas fazy operacyjnej badania. Gdy taki płynny przepływ informacji jest na miejscu, istnieje znacząca możliwość automatyzacji i poprawy jakości, co pozwala nam dramatycznie zmniejszyć czas i koszty projektowania i wdrożenia badania klinicznego. Nasze partnerstwo z Veeva w celu połączenia naszego Study Designer z Veeva Vault EDC jest tylko jednym krokiem w tym kierunku, z wieloma więcej do zrobienia.

What are some of the key challenges AI faces in simplifying clinical trials, and how does Faro overcome them, particularly around ensuring transparency and avoiding issues like bias or hallucination in AI outputs?

Istnieje znacznie wyższa poprzeczka dla dokumentów badań klinicznych niż w większości innych dziedzin. Te dokumenty dotyczą życia prawdziwych ludzi i przechodzą przez proces rewizji regulacyjnej. Gdy po raz pierwszy zaczęliśmy generować dokumenty badań klinicznych przy użyciu LLM, było jasne, że modele dostępne na rynku nie spełniają oczekiwań. Niezwykle ważne jest, abyśmy spędzili dużo czasu na współpracy z ekspertami klinicznymi, aby opracować wytyczne i listy kontrolne oceny, które zapewnią, że nasze dane wyjściowe nie są halucynacjami ani pomijaniem kluczowych szczegółów, i mają odpowiedni ton. Musimy również zapewnić możliwość, aby użytkownicy końcowi mogli wprowadzać własne wskazówki i poprawki do danych wyjściowych, ponieważ różni klienci mają różne szablony i standardy, które kierują ich procesem tworzenia dokumentów.

Looking forward, how do you see AI evolving in the context of clinical trials? What role will Faro play in the digital transformation of this space over the next decade?

W miarę upływu czasu AI pomoże poprawić i zoptymalizować coraz więcej decyzji i procesów w rozwoju klinicznym. Będziemy mogli przewidywać kluczowe wyniki na podstawie danych wejściowych protokołu, takich jak czy zespół badawczy może spodziewać się problemów z rekrutacją, czy badanie będzie wymagało poprawek z powodu wyzwań operacyjnych. Z takimi przewidywaniami będziemy mogli pomóc zoptymalizować operacje badania, zapewniając, że miejsca i pacjenci mają najlepsze doświadczenie, a szanse na operacyjny sukces badania są jak największe. Oprócz eksplorowania tych możliwości, Faro planuje również nadal generować różne dokumenty kliniczne, aby cały proces składania wniosków i dokumentacji badania był wydajny i mniej podatny na błędy. Widzimy świat, w którym AI umożliwi naszej platformie stać się prawdziwym partnerem projektowym, angażując naukowców klinicznych w generatywny dialog, aby pomóc im projektować badania, które podejmują odpowiednie decyzje pomiędzy obciążeniem pacjenta, obciążeniem miejsca, czasem, kosztem i złożonością.

How does Faro’s focus on patient-centric design impact the efficiency and success of clinical trials, particularly in terms of reducing patient burden and improving study accessibility?

Badania kliniczne są często pochwytem pomiędzy potrzebą zbierania większej ilości danych od uczestników a zarządzaniem operacyjną wykonalnością badania, taką jak zdolność do rekrutacji i utrzymania uczestników. Chociaż zespoły badawcze są świadome wpływu badań o wysokim obciążeniu na pacjentów, naprawdę trudno jest to zmienić w praktyce. Wierzymy, że jedną z barier dla zmniejszenia obciążenia pacjentów jest często brak możliwości łatwego pomiaru – trudno zmierzyć wpływ na pacjentów, gdy projekt jest w dokumencie Word lub pdf.

Używając Study Designer Faro, zespoły rozwoju klinicznego mogą uzyskać wgląd w czasie rzeczywistym do wpływu ich konkretnego protokołu na obciążenie pacjentów podczas samego procesu planowania protokołu. Poprzez strukturyzowanie badań i zapewnienie analitycznych spostrzeżeń dotyczących kosztów, obciążenia pacjentów, złożoności na wczesnym etapie projektowania, Faro zapewnia zespołom badawczym bardzo skuteczny sposób na zoptymalizowanie projektów badań, balansując te czynniki z potrzebami naukowymi. Nasi klienci kochają fakt, że dajemy im wgląd w obciążenie pacjentów i powiązane metryki w punkcie, w którym zmiany są łatwe do wprowadzenia, i mogą podejmować świadome decyzje, gdy jest to konieczne. Ostatecznie widzieliśmy, jak nasi klienci zaoszczędzili tysiące godzin czasu pacjentów zbiorowo, co na pewno będzie miało natychmiastowy pozytywny wpływ na uczestników badań, a także pomoże zapewnić, że badania kliniczne mogą rozpocząć się i zakończyć na czas.

What advice would you give to startups or companies looking to integrate AI into their clinical trial processes, based on your experiences at both Google and Faro?

Oto główne wnioski, które mogę podzielić się dotychczas z naszego doświadczenia w stosowaniu AI w tej dziedzinie:

1. Podziel i ocenij swoje wskazówki AI. Duże modele językowe jak GPT nie są zaprojektowane do generowania dokumentów klinicznych. Jeśli planujesz używać AI do automatyzacji tworzenia dokumentów badań klinicznych, musisz mieć ramy oceny, które zapewnią, że wygenerowane dane wyjściowe są dokładne, kompletne, mają odpowiedni poziom szczegółowości i ton, itd. To wymaga wielu starannych testów modelu pod kierunkiem ekspertów klinicznych.
2. Użyj ustrukturyzowanej reprezentacji badania. Nie ma możliwości wygenerowania wymaganych analiz danych, aby zaprojektować optymalne badanie kliniczne bez ustrukturyzowanego repozytorium. Wiele firm dzisiaj używa dokumentów Word – nie nawet Excel! – do modelowania badań klinicznych. To musi być zrobione z ustrukturyzowanym modelem dziedzinowym, który dokładnie reprezentuje złożoność badania – jego schemat, cele i punkty końcowe, harmonogram ocen, itd. To wymaga wielu danych wejściowych i informacji zwrotnej od ekspertów klinicznych.
3. Eksperci kliniczni są niezwykle ważni dla jakości. Jak widać w dwóch poprzednich punktach, posiadanie ekspertów klinicznych bezpośrednio zaangażowanych w projektowanie i testowanie każdego systemu AI do rozwoju klinicznego jest absolutnie kluczowe. To jest o wiele bardziej istotne niż w jakiejkolwiek innej dziedzinie, w której pracowałem, po prostu dlatego, że wymagana wiedza jest tak specjalistyczna, szczegółowa i przenika każdy produkt, który próbujesz zbudować w tej przestrzeni.

Jesteśmy nieustannie otwarci na nowe pomysły i regularnie dzielimy się naszymi odkryciami na naszym blogu, aby pomóc firmom nawigować w tej przestrzeni.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Faro Health.