Patrick Leung, CTO of Faro Health – Wywiad z serii

Patrick Leung, CTO of Faro Health, prowadzi platformę firmy wykorzystującą sztuczną inteligencję, która upraszcza i przyspiesza projektowanie protokołu badań klinicznych. Narzędzia Faro Health zwiększają wydajność, standaryzację i dokładność w planowaniu badań, integrując dane i procesy, aby zmniejszyć ryzyko, koszty i obciążenie pacjentów.

Faro Health umożliwia zespołom badawczym opracowanie optymalnych, standaryzowanych protokołów badań w krótszym czasie, przyczyniając się do innowacji w badaniach klinicznych.

Yspędziłeś wiele lat budując sztuczną inteligencję w Google. Jakie były najbardziej interesujące projekty, nad którymi pracowałeś podczas swojego pobytu w Google, i jak doświadczenia te ukształtowały Twoje podejście do sztucznej inteligencji?

Byłem w zespole, który zbudował Google Duplex, system sztucznej inteligencji, który dzwonił do restauracji i innych firm w imieniu użytkownika. Był to projekt tajny, pełen niezwykle utalentowanych ludzi. Zespół był dynamiczny, ciągle próbował nowych pomysłów, a co tydzień były fajne demonstracje najnowszych rzeczy, nad którymi ludzie pracowali. Było to bardzo inspirujące, być częścią takiego zespołu.

Jedną z wielu rzeczy, których nauczyłem się w tym zespole, jest to, że nawet gdy pracujesz z najnowocześniejszymi modelami sztucznej inteligencji, czasem po prostu musisz być wytrwały, aby uzyskać pożądane doświadczenie użytkownika i wartość. Aby wygenerować hiperréalistyczne rozmowy werbalne, zespół łączył nagrania z czasami postoju, takimi jak “um”, aby rozmowa brzmiała bardziej naturalnie. Było tak wiele frazy, czytając to, co prasa powiedziała o tym, dlaczego te “um” były tam po naszym uruchomieniu!

Oboje, Ty i CEO Faro, pochodzicie z dużych firm technologicznych. Jak Wasze doświadczenie z przeszłości wpłynęło na rozwój i strategię Faro?

Kilka razy w mojej karierze budowałem firmy, które sprzedawały różne produkty i usługi dużym firmom. Faro również jest skierowane do największych firm farmaceutycznych, więc istnieje wiele doświadczenia wokół tego, co jest potrzebne, aby wygrać i współpracować z dużymi przedsiębiorstwami, które jest bardzo istotne tutaj. Praca w Two Sigma, dużej firmie inwestycyjnej z siedzibą w Nowym Jorku, bardzo ukształtowała moje podejście do nauki danych. Mają one rygorystyczny proces oparty na hipotezach, w którym wszystkie nowe pomysły są wprowadzane do planu badawczego i są dokładnie testowane. Mają również bardzo dobrze rozwiniętą organizację inżynierii danych do wdrożenia nowych zestawów danych i wykonania inżynierii cech. Gdy Faro pogłębia swoje możliwości sztucznej inteligencji, aby rozwiązać więcej problemów w rozwoju badań klinicznych, ten podejście będzie bardzo istotne i stosowane do tego, co robimy.

Faro Health jest zbudowane wokół uproszczenia złożoności projektu badań klinicznych za pomocą sztucznej inteligencji. Pochodząc z nieklinicznego tła, jaki był “aha moment”, który doprowadził Cię do zrozumienia konkretnych punktów bólu w projekcie protokołu, które wymagały rozwiązania?

Mój pierwszy “aha moment” nastąpił, gdy spotkałem się z pojęciem “Eroom’s Law”. Eroom nie jest osobą, jest to po prostu “Moore” od tyłu. Ta żartobliwa nazwa jest odniesieniem do faktu, że w ciągu ostatnich 50 lat koszty i czas rozwoju leków w porównywalnych cenach i czasach zostały podwojone co 9 lat. To idzie wbrew całej rewolucji technologicznej, i po prostu zaskoczyło mnie. To naprawdę przekonało mnie, że istnieje ogromny problem do rozwiązania!

Gdy zagłębiłem się w tę dziedzinę i zacząłem bardziej rozumieć podstawowe problemy, było wiele więcej spostrzeżeń takich jak to. Podstawowe i bardzo oczywiste jest to, że dokumenty Word nie są dobrym formatem do projektowania i przechowywania bardzo złożonych badań klinicznych! To jest kluczowe spostrzeżenie, wynikające z doświadczenia klinicznego naszego CEO Scotta, na którym Faro zostało zbudowane. Istnieje również spostrzeżenie, że z czasem badania stają się coraz bardziej złożone, ponieważ zespoły badań klinicznych literalnie kopiują i wklejają poprzednie protokoły, a następnie dodają nowe oceny, aby zebrać więcej danych. Zapewnienie użytkownikom jak najwięcej cennych informacji, jak najwcześniej, w procesie projektowania badania jest kluczową wartością dla Faro.

Jaka rola sztucznej inteligencji odgrywa w platformie Faro, aby zapewnić szybsze i bardziej dokładne projektowanie protokołu badań klinicznych? Jak narzędzie “AI Co-Author” Faro różni się od innych rozwiązań sztucznej inteligencji?

Może to brzmieć oczywiście, ale nie możesz po prostu poprosić ChatGPT o wygenerowanie dokumentu protokołu badania klinicznego. Po pierwsze, musisz mieć bardzo szczegółowe, ustrukturyzowane informacje o badaniu, takie jak Harmonogram Działania, reprezentowane w szczegółach, aby wyświetlić odpowiednie informacje w bardzo technicznych sekcjach dokumentu protokołu. Po drugie, istnieje wiele detali i konkretnych klauzul, które muszą być obecne w dokumentacji dla pewnych typów badań, a także pewien styl i poziom szczegółowości, który jest oczekiwany przez medycznych autorów i recenzentów. W Faro zbudowaliśmy własny system oceny protokołu, aby upewnić się, że treść generowana przez duży model językowy (LLM) spełnia surowe standardy użytkowników i regulatorów.

Jak Faro zapewnia, że sztuczna inteligencja może spełnić te specjalistyczne wymagania bez poświęcania dokładności lub jakości, gdy badania nad rzadkimi chorobami i immuno-onkologią stają się coraz bardziej złożone?

Model jest tylko tak dobry, jak dane, na których został wyszkolony. Gdy więc granica nowoczesnej medycyny posuwa się do przodu, musimy nadążyć, szkoląc i testując nasze modele z najnowszymi badaniami klinicznymi. To wymaga, abyśmy ciągle rozszerzali naszą bibliotekę zdigitalizowanych protokołów klinicznych – jesteśmy niezwykle dumni z ilości protokołów badań klinicznych, które już wprowadziliśmy do naszej biblioteki danych w Faro, i zawsze priorytetowo traktujemy wzrost tego zbioru. To również wymaga, abyśmy opierali się na naszym zespole ekspertów klinicznych, którzy ciągle oceniają wyniki naszego modelu i wprowadzają niezbędne zmiany w “listach kontrolnych oceny”, których używamy do zapewnienia jego dokładności i jakości.

Partnerstwo Faro z Veeva i innymi wiodącymi firmami integruje platformę z szerszym ekosystemem badań klinicznych. Jak te współprace pomagają usprawnić cały proces badania, od projektowania protokołu do wykonania?

Serce badania klinicznego to protokół, który pomaga naszym klientom zaprojektować i zoptymalizować za pomocą Study Designer Faro. Protokół informuje o wszystkim, co jest poniżej badania, ale tradycyjnie protokoły są projektowane i przechowywane w dokumentach Word. Jednym z największych wyzwań w operacjonalizacji rozwoju klinicznego dzisiaj jest ciągła transkrypcja lub “tłumaczenie” danych z protokołu lub innych źródeł dokumentów do innych systemów lub nawet innych dokumentów. Jak można się wyobrazić, mając ludzi, którzy ręcznie tłumaczą informacje z dokumentów do różnych systemów, jest niezwykle niewydajne i wprowadza wiele możliwości błędów po drodze.

Wizja Faro to zjednoczona platforma, w której “definicja” lub elementy badania klinicznego mogą płynąć z systemu projektowania, w którym są po raz pierwszy konceptualizowane, do różnych systemów lub potrzebnych podczas fazy operacyjnej badania. Gdy taki płynny przepływ informacji jest na miejscu, istnieje znacząca możliwość automatyzacji i poprawy jakości, co oznacza, że możemy dramatycznie zmniejszyć czas i koszt projektowania i wdrożenia badania klinicznego. Nasze partnerstwo z Veeva w celu połączenia naszego Study Designer z Veeva Vault EDC jest tylko jednym krokiem w tym kierunku, z wieloma więcej do zrobienia.

Jakie są niektóre z kluczowych wyzwań, przed którymi stoi sztuczna inteligencja w uproszczeniu badań klinicznych, i jak Faro pokonuje te wyzwania, szczególnie wokół zapewnienia przejrzystości i uniknięcia problemów, takich jak stronniczość lub halucynacja w danych wyjściowych sztucznej inteligencji?

Istnieje znacznie wyższa poprzeczka dla dokumentów badań klinicznych niż w większości innych dziedzin. Te dokumenty wpływają na życie prawdziwych ludzi i przechodzą przez bardzo surowy proces przeglądu regulacyjnego. Gdy po raz pierwszy zaczęliśmy generować dokumenty kliniczne za pomocą LLM, było jasne, że z modelami dostępnymi na rynku wynik był daleko od spełnienia oczekiwań. Niezwykle, ton, poziom szczegółowości, formatowanie – wszystko – było zupełnie nie tak, i było bardziej ukierunkowane na ogólnego użytkownika, niż na ekspertów klinicznych. Z pewnością halucynacja i również proste pominięcie niezbędnych szczegółów były głównymi wyzwaniami. Aby rozwinąć rozwiązanie sztucznej inteligencji, które mogłoby spełnić wysoki standard specyficzności dla danej dziedziny i jakości, którą oczekują nasi użytkownicy, musieliśmy spędzić wiele czasu, współpracując z ekspertami klinicznymi, aby opracować wytyczne i listy kontrolne oceny, które zapewniłyby, że nasze dane wyjściowe nie halucynują i nie pomijają kluczowych szczegółów, i mają odpowiedni ton. Musieliśmy również zapewnić możliwość, aby użytkownicy końcowi mogli dostarczyć własne wskazówki i poprawki do danych wyjściowych, ponieważ różni klienci mają różne szablony i standardy, które kierują ich procesem tworzenia dokumentów.

Istnieje również wyzwanie, że szczegółowe dane kliniczne niezbędne do pełnego wygenerowania dokumentacji protokołu badania mogą nie być łatwo dostępne, często przechowywane głęboko w innych złożonych dokumentach, takich jak broszura badawcza. Rozważamy użycie sztucznej inteligencji, aby pomóc wydobyć takie informacje i uczynić je dostępnymi do wykorzystania w generowaniu sekcji dokumentu protokołu.

Spójrzając w przyszłość, jak widzisz ewolucję sztucznej inteligencji w kontekście badań klinicznych? Jaką rolę odegra Faro w cyfrowej transformacji tego obszaru w ciągu najbliższej dekady?

Z czasem sztuczna inteligencja pomoże poprawić i zoptymalizować więcej decyzji i procesów w całym procesie rozwoju klinicznego. Będziemy mogli przewidywać kluczowe wyniki na podstawie danych wejściowych projektu, takich jak czy zespół badawczy może spodziewać się problemów z rekrutacją, czy badanie będzie wymagało poprawki z powodu problemów operacyjnych. Z takimi przewidywaniami będziemy mogli pomóc zoptymalizować operacje badania, zapewniając, że zarówno placówki, jak i pacjenci mają najlepsze doświadczenie, a szanse na operacyjny sukces badania są jak najwyższe. Oprócz eksplorowania tych możliwości, Faro planuje również kontynuować generowanie różnych dokumentów klinicznych, aby cały proces składania wniosków i dokumentacji badania był wydajny i mniej podatny na błędy. I wyobrażamy sobie świat, w którym sztuczna inteligencja umożliwia naszej platformie stać się prawdziwym partnerem w projektowaniu, angażując naukowców klinicznych w generatywny dialog, aby pomóc im zaprojektować badania, które dokonują odpowiednich kompromisów między obciążeniem pacjenta, obciążeniem placówki, czasem, kosztem i złożonością.

Jak focus Faro na projektowaniu zorientowanym na pacjenta wpływa na wydajność i sukces badań klinicznych, szczególnie w zakresie redukcji obciążenia pacjenta i poprawy dostępności badania?

Badania kliniczne są często poświęcane na potrzeby zbierania większej ilości danych od uczestników – co oznacza więcej ocen lub testów dla pacjenta – i zarządzania operacyjną wykonalnością badania, taką jak jego zdolność do rekrutacji i utrzymania uczestników. Ale rekrutacja i utrzymanie pacjentów są jednymi z największych wyzwań dla pomyślnego zakończenia badania klinicznego dzisiaj – według niektórych szacunków, aż 20-30% pacjentów, którzy zdecydują się uczestniczyć w badaniu klinicznym, ostatecznie wycofają się z powodu obciążenia udziałem, w tym częstych wizyt, inwazyjnych procedur i złożonych protokołów. Chociaż zespoły badań klinicznych są świadome wpływu badań o wysokim obciążeniu na pacjentów, rzeczywiste podjęcie konkretnych kroków w celu zmniejszenia obciążenia pacjenta może być trudne w praktyce. Uważamy, że jedną z barier dla redukcji obciążenia pacjenta jest często brak możliwości łatwego pomiaru go – trudno zmierzyć wpływ na pacjentów, gdy projekt jest w dokumencie Word lub pdf.

Korzystając z Study Designer Faro, zespoły rozwoju klinicznego mogą uzyskać informacje w czasie rzeczywistym o wpływie ich konkretnego protokołu na obciążenie pacjenta podczas samego procesu planowania protokołu. Poprzez strukturyzowanie badań i zapewnienie analitycznych informacji o kosztach, obciążeniu pacjenta, złożoności na wczesnym etapie projektowania, Faro zapewnia zespołom badawczym skuteczny sposób optymalizacji projektów badań, balansując te czynniki z potrzebami naukowymi zebrania większej ilości danych. Nasi klienci kochają fakt, że dajemy im wgląd w obciążenie pacjenta i powiązane metryki na etapie rozwoju, gdzie zmiany są łatwe do wprowadzenia, i mogą podejmować świadome decyzje, gdy jest to konieczne. Ostatecznie widzieliśmy, jak nasi klienci zaoszczędzili tysiące godzin zbiorowego czasu pacjentów, co wiemy, będzie miało natychmiastowy pozytywny wpływ na uczestników badania, a także pomoże zapewnić, że badania kliniczne mogą zarówno rozpocząć się, jak i zakończyć się na czas.

Jakie rady dałbyś startupom lub firmom, które chcą zintegrować sztuczną inteligencję ze swoimi procesami badań klinicznych, opierając się na Twoich doświadczeniach w Google i Faro?

Oto główne wnioski, które mógłbym podzielić się do tej pory z naszego doświadczenia zastosowania sztucznej inteligencji w tej dziedzinie:

1. Podziel i ocenij swoje wypowiedzi sztucznej inteligencji. Duże modele językowe jak GPT nie są zaprojektowane do wytwarzania dokumentów klinicznych o wysokiej jakości. Więc jeśli planujesz użyć sztucznej inteligencji do automatyzacji tworzenia dokumentów badań klinicznych, musisz mieć ramy oceny, która zapewni, że wygenerowany wynik jest dokładny, kompletny, ma odpowiedni poziom szczegółowości i ton, itd. To wymaga dużo starannego testowania modelu pod kierunkiem ekspertów klinicznych.
2. Użyj ustrukturyzowanej reprezentacji badania. Nie ma sposobu, aby wygenerować wymagane analizy danych, aby zaprojektować optymalne badanie kliniczne, bez ustrukturyzowanego repozytorium. Wiele firm dzisiaj używa dokumentów Word – nie nawet Excel! – do modelowania badań klinicznych. To musi być zrobione z ustrukturyzowanym modelem dziedziny, który dokładnie reprezentuje złożoność badania – jego schemat, cele i punkty końcowe, harmonogram ocen, itd. To wymaga dużo wejścia i opinii od ekspertów klinicznych.
3. Eksperci kliniczni są niezbędni dla jakości. Jak widać w dwóch poprzednich punktach, posiadanie ekspertów klinicznych bezpośrednio zaangażowanych w projektowanie i testowanie jakiegokolwiek systemu rozwoju klinicznego opartego na sztucznej inteligencji jest absolutnie kluczowe. To jest o wiele więcej niż w jakiejkolwiek innej dziedzinie, w której pracowałem, po prostu dlatego, że wymagana wiedza jest tak specjalistyczna, szczegółowa i przenika każdy produkt, który próbujesz zbudować w tym obszarze.

Ciągle próbujemy nowych rzeczy i regularnie dzielimy się naszymi odkryciami na naszym blogu, aby pomóc firmom nawigować w tym obszarze.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Faro Health.