Patrick Leung, CTO Faro Health – Seri Wawancara

Patrick Leung, CTO Faro Health, memimpin platform yang ditenagai AI perusahaan, yang menyederhanakan dan mempercepat desain protokol uji klinis. Alat Faro Health meningkatkan efisiensi, standardisasi, dan akurasi dalam perencanaan uji coba, dengan mengintegrasikan wawasan berbasis data dan proses yang dipercepat untuk mengurangi risiko uji coba, biaya, dan beban pasien.

Faro Health memberdayakan tim penelitian klinis untuk mengembangkan protokol uji coba yang dioptimalkan dan distandarisasi lebih cepat, memajukan inovasi dalam penelitian klinis.

Anda menghabiskan banyak tahun membangun AI di Google (GOOGL ). Apa beberapa proyek paling menarik yang Anda kerjakan selama waktu Anda di Google, dan bagaimana pengalaman tersebut membentuk pendekatan Anda terhadap AI?

Saya berada di tim yang membangun Google Duplex, sebuah sistem AI konversasional yang menelepon restoran dan bisnis lain atas nama pengguna. Ini adalah proyek rahasia yang penuh dengan orang-orang sangat berbakat. Tim ini bergerak cepat, terus-menerus mencoba ide baru, dan ada demo keren dari hal-hal terbaru yang orang kerjakan setiap minggu. Ini sangat menginspirasi untuk menjadi bagian dari tim seperti itu.

Salah satu hal yang saya pelajari di tim ini adalah bahwa bahkan ketika Anda bekerja dengan model AI terbaru, terkadang Anda masih harus menjadi scrappy untuk mendapatkan pengalaman pengguna dan nilai yang diinginkan. Untuk menghasilkan percakapan verbal yang sangat realistis, tim menyatukan rekaman dengan temporizer seperti “um” untuk membuat percakapan terdengar lebih alami. Ini sangat menyenangkan membaca apa yang dikatakan pers tentang mengapa “um” tersebut ada setelah kami meluncurkan!

Baik Anda dan CEO Faro berasal dari perusahaan teknologi besar. Bagaimana pengalaman masa lalu Anda mempengaruhi pengembangan dan strategi Faro?

Beberapa kali dalam karir saya, saya telah membangun perusahaan yang menjual berbagai produk dan layanan kepada perusahaan besar. Faro juga menargetkan perusahaan farmasi terbesar di dunia, sehingga ada banyak pengalaman tentang apa yang diperlukan untuk memenangkan dan bermitra dengan perusahaan besar yang sangat relevan di sini. Bekerja di Two Sigma, sebuah hedge fund algoritmik besar yang berbasis di New York City, sangat membentuk bagaimana saya mendekati ilmu data. Mereka memiliki proses hipotesis yang ketat, di mana semua ide baru masuk ke dalam rencana penelitian dan diuji secara menyeluruh. Mereka juga memiliki organisasi teknik data yang sangat berkembang untuk memasukkan dataset baru dan melakukan teknik fitur. Ketika Faro memperdalam kemampuan AI-nya untuk menangani lebih banyak masalah dalam pengembangan uji coba klinis, pendekatan ini akan sangat relevan dan dapat diterapkan pada apa yang kita lakukan.

Faro Health dibangun di sekitar menyederhanakan kompleksitas desain uji coba klinis dengan AI. Datang dari latar belakang non-klinis, apa “aha moment” yang membuat Anda memahami titik nyeri spesifik dalam desain protokol yang perlu ditangani?

“Aha moment” pertama saya terjadi ketika saya menemukan konsep “Eroom’s Law”. Eroom bukanlah orang, itu hanya “Moore” yang ditulis terbalik. Nama ini merupakan referensi kepada fakta bahwa selama 50 tahun terakhir, biaya pengembangan obat klinis yang disesuaikan dengan inflasi dan waktu telah meningkat sekitar dua kali lipat setiap 9 tahun. Ini bertentangan dengan revolusi teknologi informasi, dan benar-benar membuat saya terkejut. Ini sangat menjual saya pada kenyataan bahwa ada masalah besar yang perlu dipecahkan di sini!

Seiring saya memahami domain ini lebih dalam dan memahami masalah yang mendasarinya lebih baik, ada banyak wawasan seperti itu. Salah satu yang paling jelas dan sangat jelas adalah bahwa dokumen Word tidak merupakan format yang baik untuk merancang dan menyimpan uji coba klinis yang sangat kompleks! Ini adalah observasi kunci, lahir dari pengalaman klinis CEO kami, Scott, yang Faro dibangun atas dasar itu. Ada juga observasi bahwa seiring waktu, uji coba cenderung menjadi lebih dan lebih kompleks, karena tim studi klinis secara literal menyalin dan menempelkan protokol sebelumnya, lalu menambahkan penilaian baru untuk mengumpulkan lebih banyak data. Memberikan pengguna dengan wawasan yang sangat berharga sebanyak mungkin, secepat mungkin, dalam proses perancangan studi adalah nilai tambah utama bagi Faro.

Bagaimana peran AI dalam platform Faro untuk memastikan desain protokol uji coba klinis yang lebih cepat dan akurat? Bagaimana alat “AI Co-Author” Faro membedakan diri dari solusi AI generatif lainnya?

Ini mungkin terdengar jelas, tetapi Anda tidak bisa hanya meminta ChatGPT untuk menghasilkan dokumen protokol uji coba klinis. Pertama-tama, Anda perlu memiliki informasi uji coba yang sangat spesifik dan terstruktur, seperti Jadwal Kegiatan yang direpresentasikan secara detail untuk menyajikan informasi yang tepat dalam bagian teknis dokumen protokol. Kedua, ada banyak detail dan klausa spesifik yang perlu ada dalam dokumentasi untuk jenis uji coba tertentu, dan gaya serta tingkat detail yang diharapkan oleh penulis medis dan reviewer. Di Faro, kami membangun sistem evaluasi protokol proprietary untuk memastikan konten yang dihasilkan oleh model bahasa besar (LLM) memenuhi standar yang sangat tinggi yang diharapkan oleh pengguna dan regulator.

Bagaimana Faro memastikan bahwa AI dapat memenuhi tuntutan khusus ini tanpa mengorbankan akurasi atau kualitas, terutama ketika uji coba untuk penyakit langka dan imunoonkologi menjadi lebih kompleks?

Sebuah model hanya sebaik data yang digunakannya. Jadi, ketika batas modern kedokteran maju, kita perlu terus memperbarui model kita dengan uji coba klinis terbaru. Ini memerlukan bahwa kita terus memperluas perpustakaan protokol uji coba klinis yang telah kita digitalkan – kita sangat bangga dengan volume protokol uji coba klinis yang telah kita bawa ke perpustakaan data kita di Faro, dan kita selalu memprioritaskan pertumbuhan dataset ini. Ini juga memerlukan kita untuk sangat mengandalkan tim ahli klinis internal kita, yang terus mengevaluasi output model kita dan memberikan perubahan yang diperlukan pada “daftar periksa evaluasi” yang kita gunakan untuk memastikan akurasi dan kualitasnya.

Faro bermitra dengan Veeva dan perusahaan lain yang memimpin untuk mengintegrasikan platform Anda ke dalam ekosistem uji coba klinis yang lebih luas. Bagaimana kolaborasi ini membantu menyederhanakan seluruh proses uji coba, dari desain protokol hingga eksekusi?

Inti dari uji coba klinis adalah protokol, yang dirancang dan dioptimalkan oleh Study Designer Faro untuk pelanggan kita. Protokol memberitahu semua hal tentang uji coba, tetapi secara tradisional, protokol dirancang dan disimpan dalam dokumen Word. Oleh karena itu, salah satu tantangan besar dalam mengoperasikan pengembangan klinis saat ini adalah transkripsi atau “terjemahan” data dari protokol atau sumber dokumen lain ke sistem lain atau bahkan dokumen lain. Seperti yang bisa Anda bayangkan, memiliki manusia yang secara manual menerjemahkan informasi berbasis dokumen ke dalam berbagai sistem dengan tangan adalah sangat tidak efisien, dan memperkenalkan banyak kesempatan untuk kesalahan di sepanjang jalan.

Visi Faro adalah platform yang terpadu di mana “definisi” atau elemen uji coba klinis dapat mengalir dari sistem desain di mana mereka pertama kali dirancang, ke hilir ke berbagai sistem atau diperlukan selama fase operasional uji coba. Ketika jenis aliran informasi yang mulus ini ada, ada kesempatan besar untuk otomatisasi dan peningkatan kualitas, yang berarti kita dapat secara dramatis mengurangi waktu dan biaya untuk merancang dan mengimplementasikan uji coba klinis. Kemitraan kita dengan Veeva untuk menghubungkan Study Designer kita ke Veeva Vault EDC hanya satu langkah dalam arah ini, dengan banyak lagi yang akan datang.

Apa beberapa tantangan utama yang dihadapi AI dalam menyederhanakan uji coba klinis, dan bagaimana Faro mengatasi tantangan tersebut, terutama dalam memastikan transparansi dan menghindari masalah seperti bias atau halusinasi dalam output AI?

Ada batangan yang lebih tinggi untuk dokumen uji coba klinis daripada di domain lain. Dokumen-dokumen ini mempengaruhi kehidupan orang-orang nyata, dan oleh karena itu melewati proses tinjauan regulasi yang sangat ketat. Ketika kita pertama kali memulai menghasilkan dokumen klinis menggunakan LLM, jelas bahwa dengan model off-the-shelf, outputnya tidak dekat dengan memenuhi harapan. Tidak mengherankan, nada, tingkat detail, formatting – semua – sangat jauh dari harapan, dan lebih berorientasi pada komunikasi bisnis umum, daripada dokumen klinis kelas ahli. Tentu saja, halusinasi dan juga penghilangan detail yang diperlukan secara langsung adalah tantangan besar. Untuk mengembangkan solusi AI generatif yang dapat memenuhi standar yang sangat tinggi untuk spesifisitas domain dan kualitas yang diharapkan oleh pengguna kita, kita harus menghabiskan banyak waktu untuk berkolaborasi dengan ahli klinis untuk membuat pedoman dan daftar periksa evaluasi yang memastikan output kita tidak mengalami halusinasi atau menghilangkan detail kunci, dan memiliki nada yang tepat. Kita juga perlu menyediakan kapasitas bagi pengguna akhir untuk memberikan panduan dan koreksi mereka sendiri terhadap output, karena pelanggan yang berbeda memiliki templat dan standar yang berbeda yang memandu proses penulisan dokumen mereka.

Menghadap ke depan, bagaimana Anda melihat AI berkembang dalam konteks uji coba klinis? Apa peran yang akan dimainkan Faro dalam transformasi digital ruang ini selama dekade berikutnya?

Seiring waktu, AI akan membantu memperbaiki dan mengoptimalkan keputusan dan proses lebih lanjut dalam proses pengembangan klinis. Kita akan dapat memprediksi hasil kunci berdasarkan input desain protokol, seperti apakah tim studi dapat mengharapkan tantangan pendaftaran, atau apakah studi akan memerlukan amendemen karena tantangan operasional. Dengan wawasan prediktif seperti itu, kita akan dapat membantu mengoptimalkan operasi hilir uji coba, memastikan bahwa situs dan pasien memiliki pengalaman terbaik, dan bahwa kemungkinan keberhasilan operasional uji coba sebesar mungkin. Selain menjelajahi kemungkinan-kemungkinan ini, Faro juga berencana untuk terus menghasilkan berbagai dokumen klinis sehingga semua proses pengajuan dan pengarsipan uji coba menjadi efisien dan kurang rentan terhadap kesalahan. Dan kita membayangkan dunia di mana AI memungkinkan platform kita untuk menjadi mitra desain yang sebenarnya, terlibat dalam dialog generatif dengan ilmuwan klinis untuk membantu mereka merancang uji coba yang membuat pertukaran yang tepat antara beban pasien, beban situs, waktu, biaya, dan kompleksitas.

Bagaimana fokus Faro pada desain yang berpusat pada pasien mempengaruhi efisiensi dan keberhasilan uji coba klinis, terutama dalam hal mengurangi beban pasien dan meningkatkan aksesibilitas studi?

Uji coba klinis sering terjebak di antara kebutuhan yang bersaing untuk mengumpulkan lebih banyak data partisipan – yang berarti lebih banyak penilaian atau tes untuk pasien – dan mengelola kelayakan operasional uji coba, seperti kemampuan untuk mendaftar dan mempertahankan partisipan. Namun, perekrutan dan retensi pasien adalah beberapa tantangan terbesar untuk penyelesaian uji coba klinis yang sukses saat ini – menurut beberapa perkiraan, sebanyak 20-30% pasien yang memilih untuk berpartisipasi dalam uji coba klinis akhirnya akan drop out karena beban partisipasi, termasuk kunjungan yang sering, prosedur invasif, dan protokol yang kompleks. Meskipun tim penelitian klinis menyadari dampak uji coba dengan beban tinggi pada pasien, melakukan sesuatu yang konkrit untuk mengurangi beban pasien bisa sulit dalam praktek. Kita percaya bahwa salah satu hambatan untuk mengurangi beban pasien seringkali adalah ketidakmampuan untuk dengan mudah mengukur beban tersebut – sulit untuk mengukur dampak pada pasien ketika desain Anda ada dalam dokumen Word atau pdf.

Menggunakan Study Designer Faro, tim pengembangan klinis dapat mendapatkan wawasan waktu nyata tentang dampak spesifik protokol mereka pada beban pasien selama proses perencanaan protokol itu sendiri. Dengan memstrukturkan uji coba dan menyediakan wawasan analitis tentang biaya, beban pasien, kompleksitas awal selama tahap desain uji coba, Faro memberikan tim penelitian klinis dengan cara yang sangat efektif untuk mengoptimalkan desain uji coba mereka dengan menyeimbangkan faktor-faktor ini dengan kebutuhan ilmiah untuk mengumpulkan lebih banyak data. Pelanggan kita sangat menyukai fakta bahwa kita memberikan visibilitas ke dalam beban pasien dan metrik terkait pada titik pengembangan di mana perubahan mudah dilakukan, dan mereka dapat membuat pertukaran yang tepat jika perlu. Pada akhirnya, kita telah melihat pelanggan kita menyelamatkan ribuan jam waktu pasien kolektif, yang kita tahu akan memiliki dampak positif langsung bagi partisipan studi, serta membantu memastikan bahwa uji coba klinis dapat dimulai dan selesai tepat waktu.

Apa saran yang akan Anda berikan kepada perusahaan atau startup yang ingin mengintegrasikan AI ke dalam proses uji coba klinis, berdasarkan pengalaman Anda di Google dan Faro?

Berikut adalah poin-poin utama yang saya tawarkan dari pengalaman kita menerapkan AI ke domain ini:

1. Bagi dan evaluasi prompt AI Anda. Model bahasa besar seperti GPT tidak dirancang untuk menghasilkan dokumentasi klinis kelas ahli. Jadi, jika Anda berencana menggunakan gen AI untuk mengotomatisasi penulisan dokumen uji coba klinis, Anda perlu memiliki kerangka evaluasi yang memastikan output yang dihasilkan akurat, lengkap, memiliki tingkat detail yang tepat dan nada yang sesuai, dan sebagainya. Ini memerlukan banyak pengujian model yang hati-hati yang dipandu oleh ahli klinis.
2. Gunakan representasi terstruktur dari uji coba. Tidak ada cara Anda dapat menghasilkan analitik data yang diperlukan untuk merancang uji coba klinis yang optimal tanpa repositori terstruktur. Banyak perusahaan saat ini menggunakan dokumen Word – bahkan tidak menggunakan Excel! – untuk memodelkan uji coba klinis. Ini harus dilakukan dengan model domain terstruktur yang secara akurat merepresentasikan kompleksitas uji coba – skema, tujuan, dan titik akhir, jadwal penilaian, dan sebagainya. Ini memerlukan banyak input dan umpan balik dari ahli klinis.
3. Ahli klinis sangat penting untuk kualitas. Seperti yang terlihat pada dua poin sebelumnya, memiliki ahli klinis terlibat langsung dalam desain dan pengujian sistem pengembangan klinis berbasis AI sangat kritis. Ini jauh lebih penting daripada domain lain yang pernah saya kerjakan, karena pengetahuan yang diperlukan sangat spesialis, terperinci, dan meresap ke dalam setiap produk yang Anda coba bangun di ruang ini.

Kita terus mencoba hal-hal baru dan secara teratur membagikan temuan kita di blog kita untuk membantu perusahaan mengarungi ruang ini.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Faro Health.