Ittai Dayan, MD, Co-pendiri & CEO Rhino Health – Seri Wawancara

Ittai Dayan, MD adalah co-pendiri dan CEO dari Rhino Health. Latar belakangnya adalah dalam pengembangan kecerdasan buatan dan diagnostik, serta kedokteran klinis dan penelitian. Ia adalah mantan anggota inti praktik kesehatan BCG dan eksekutif rumah sakit. Ia saat ini fokus pada kontribusi pengembangan kecerdasan buatan yang aman, adil, dan berdampak dalam industri kesehatan dan ilmu kehidupan. Di Rhino Health, mereka menggunakan komputasi terdistribusi dan Federated Learning sebagai sarana untuk mempertahankan privasi pasien dan mendorong kolaborasi di seluruh lanskap kesehatan yang terfragmentasi.

Ia pernah bertugas di IDF – pasukan khusus, memimpin pusat translasi AI akademis-medical terbesar di dunia. Ia adalah ahli dalam pengembangan dan komersialisasi AI, serta pelari jarak jauh.

Apakah Anda bisa berbagi cerita tentang asal-usul Rhino Health?

Perjalananku ke AI dimulai ketika aku masih seorang klinisi dan peneliti, menggunakan bentuk awal ‘biomarker digital’ untuk mengukur respons pengobatan pada gangguan mental. Kemudian, aku melanjutkan untuk memimpin Pusat Ilmu Data Klinis (CCDS) di Mass General Brigham. Di sana, aku mengawasi pengembangan puluhan aplikasi AI klinis, dan menyaksikan langsung tantangan yang mendasarinya terkait akses dan ‘aktivasi’ data yang diperlukan untuk mengembangkan dan melatih produk AI yang memenuhi standar regulasi.

Meskipun banyak kemajuan dalam AI kesehatan, jalan dari pengembangan ke peluncuran produk di pasar masih panjang dan seringkali berliku-liku. Solusi gagal (atau hanya mengecewakan) ketika diterapkan secara klinis, dan mendukung seluruh siklus hidup AI hampir mustahil tanpa akses terus-menerus ke sejumlah besar data klinis. Tantangan telah bergeser dari mengembangkan model, ke memelihara mereka. Untuk menjawab tantangan ini, aku meyakinkan sistem Mass General Brigham tentang nilai memiliki ‘CRO khusus untuk AI’ (CRO = Organisasi Penelitian Klinis), untuk menguji algoritma dari beberapa pengembang komersial.

Namun, masalahnya masih ada – data kesehatan masih sangat terisolasi, dan bahkan sejumlah besar data dari satu jaringan tidak cukup untuk mengatasi target yang semakin sempit dari AI medis. Pada musim panas 2020, aku memulai dan memimpin (bersama dengan Dr. Mona Flores dari NVIDIA (NVDA )), studi Federated Learning (FL) terbesar di bidang kesehatan pada saat itu, EXAM. Kami menggunakan FL untuk membuat model prediktif hasil COVID, memanfaatkan data dari seluruh dunia, tanpa berbagi data.. Kemudian diterbitkan di Nature Medicine, studi ini menunjukkan dampak positif dari memanfaatkan dataset yang beragam dan terpisah, serta menekankan potensi untuk penggunaan lebih luas dari pembelajaran federasi dalam kesehatan.

Pengalaman ini, bagaimanapun, mengungkapkan sejumlah tantangan. Ini termasuk mengkoordinasikan data di seluruh situs kolaborasi, memastikan jejak data dan karakterisasi yang tepat, serta beban yang diberikan pada departemen TI dari setiap lembaga, yang harus belajar teknologi canggih yang tidak mereka kenal. Ini membutuhkan platform baru yang akan mendukung kolaborasi ‘data terdistribusi’ ini. Aku memutuskan untuk bergabung dengan co-pendiri saya, Yuval Baror, untuk membuat platform ujung-ke-ujung untuk mendukung kolaborasi yang menjaga privasi. Platform itu adalah ‘Rhino Health Platform’, yang menggunakan FL dan edge-compute.

Mengapa Anda percaya bahwa model AI sering gagal memberikan hasil yang diharapkan dalam pengaturan kesehatan?

AI medis sering dilatih pada dataset yang kecil dan sempit, seperti dataset dari satu lembaga atau wilayah geografis, yang menyebabkan model yang dihasilkan hanya berfungsi dengan baik pada jenis data yang telah dilihat. Ketika algoritma diterapkan pada pasien atau skenario yang berbeda dari dataset pelatihan yang sempit, kinerjanya sangat terpengaruh.

Andrew Ng, menangkap konsep ini dengan baik ketika ia menyatakan, “Ternyata ketika kami mengumpulkan data dari Rumah Sakit Stanford… kami dapat menerbitkan makalah yang menunjukkan [algoritma] setara dengan radiolog manusia dalam mendeteksi kondisi tertentu. … [Ketika] Anda mengambil model AI yang sama, sistem AI yang sama, ke rumah sakit yang lebih tua di jalan, dengan mesin yang lebih tua, dan teknisi menggunakan protokol pemindaian yang sedikit berbeda, data itu bergeser dan menyebabkan kinerja sistem AI menurun secara signifikan.” ³

Singkatnya, sebagian besar model AI tidak dilatih pada data yang cukup beragam dan berkualitas tinggi, sehingga menghasilkan kinerja ‘dunia nyata’ yang buruk. Ini telah didokumentasikan dengan baik dalam lingkaran ilmiah dan arus utama, seperti di Science dan Politico.

Seberapa penting pengujian pada kelompok pasien yang beragam?

Pengujian pada kelompok pasien yang beragam sangat penting untuk memastikan bahwa produk AI yang dihasilkan tidak hanya efektif dan berkinerja, tetapi juga aman. Algoritma yang tidak dilatih atau diuji pada kelompok pasien yang cukup beragam mungkin menderita bias algoritma, masalah serius dalam kesehatan dan teknologi kesehatan. Tidak hanya algoritma tersebut akan mencerminkan bias yang ada dalam data pelatihan, tetapi juga memperburuk bias tersebut dan memperkuat ketidaksetaraan yang sudah ada dalam kesehatan. Kegagalan untuk menguji pada kelompok pasien yang beragam dapat menghasilkan produk yang berbahaya.

Studi yang baru saja diterbitkan ⁵, yang menggunakan Platform Rhino Health, menyelidiki kinerja algoritma AI yang mendeteksi aneurisma otak yang dikembangkan di satu situs pada empat situs yang berbeda dengan jenis pemindai yang berbeda. Hasilnya menunjukkan variabilitas kinerja yang substansial pada situs dengan jenis pemindai yang berbeda, menekankan pentingnya pelatihan dan pengujian pada dataset yang beragam.

Bagaimana Anda mengidentifikasi jika subpopulasi tidak terwakili?

Pendekatan yang umum adalah menganalisis distribusi variabel dalam dataset yang berbeda, secara individual dan gabungan. Ini dapat memberitahu pengembang baik ketika mempersiapkan ‘dataset pelatihan’ dan ‘dataset validasi’. Platform Rhino Health memungkinkan Anda melakukan hal ini, dan lebih lanjut, pengguna dapat melihat bagaimana model berkinerja pada berbagai kohort untuk memastikan generalisasi dan kinerja yang berkelanjutan di seluruh subpopulasi.

Apakah Anda bisa menjelaskan apa itu Federated Learning dan bagaimana itu memecahkan beberapa masalah ini?

Federated Learning (FL) dapat didefinisikan secara luas sebagai proses di mana model AI dilatih dan kemudian terus ditingkatkan seiring waktu, menggunakan data yang berbeda, tanpa perlu berbagi atau mengumpulkan data. Ini adalah lompatan besar dalam pengembangan AI. Sebelumnya, setiap pengguna yang ingin berkolaborasi dengan beberapa situs harus mengumpulkan data tersebut, yang menyebabkan berbagai hambatan, biaya, dan proses yang rumit dan memakan waktu.

Hari ini, dengan perangkat lunak seperti Platform Rhino Health, FL menjadi kenyataan sehari-hari dalam kesehatan dan ilmu kehidupan. Federated learning memungkinkan pengguna untuk mengeksplorasi, mengkurasi, dan memvalidasi data sambil data tersebut tetap berada di server lokal kolaborator. Kode yang dikontainerisasi, seperti algoritma AI/ML atau aplikasi analitik, dikirim ke server lokal di mana kode tersebut dieksekusi ‘secara lokal’. Data tetap berada dengan ‘penjaga data’ setiap saat.

Rumah sakit, khususnya, khawatir tentang risiko yang terkait dengan mengumpulkan data pasien yang sensitif. Ini telah menyebabkan situasi yang memalukan, di mana menjadi jelas bahwa organisasi kesehatan berkolaborasi dengan industri tanpa memahami penggunaan data mereka dengan tepat. Sebagai gantinya, mereka membatasi jumlah kolaborasi yang dapat dilakukan oleh peneliti industri dan akademis, memperlambat R&D dan mempengaruhi kualitas produk di seluruh industri kesehatan. FL dapat memitigasi hal ini dan memungkinkan kolaborasi data seperti tidak pernah sebelumnya, sambil mengontrol risiko yang terkait dengan kolaborasi ini.

Apakah Anda bisa berbagi visi Rhino Health untuk memungkinkan pembuatan model yang cepat dengan menggunakan data yang lebih beragam?

Kami memvisualisasikan sebuah ekosistem pengembang dan pengguna AI, berkolaborasi tanpa takut atau terbatas, sambil menghormati batasan regulasi.. Kolaborator dapat dengan cepat mengidentifikasi data pelatihan dan pengujian yang diperlukan dari seluruh geografi, mengakses dan berinteraksi dengan data tersebut, dan mengulangi pengembangan model untuk memastikan generalisasi, kinerja, dan keamanan yang memadai.

Di inti dari ini adalah Platform Rhino Health, yang menyediakan ‘one-stop-shop’ bagi pengembang AI untuk membangun dataset yang besar dan beragam, melatih dan memvalidasi algoritma AI, dan terus memantau dan memelihara produk AI yang diterapkan.

Bagaimana Platform Rhino Health mencegah bias AI dan menawarkan keterjelasan AI?

Dengan membuka dan mempermudah kolaborasi data, pengembang AI dapat memanfaatkan dataset yang lebih besar dan beragam dalam pelatihan dan pengujian aplikasi mereka. Hasilnya adalah produk yang lebih robust dan tidak terbebani oleh bias dari satu lembaga atau dataset yang sempit. Dalam mendukung keterjelasan AI, platform kami menyediakan pandangan yang jelas ke dalam data yang digunakan dalam proses pengembangan, dengan kemampuan untuk menganalisis asal data, distribusi nilai, dan metrik penting lainnya untuk memastikan keberagaman dan kualitas data yang memadai. Selain itu, platform kami memungkinkan fungsi yang tidak mungkin jika data hanya diumpulkan bersama, termasuk memungkinkan pengguna untuk meningkatkan dataset mereka dengan variabel tambahan, seperti yang dihitung dari titik data yang ada, untuk menyelidiki inferensi kausal dan memitigasi konfounder.

Bagaimana Anda merespons dokter yang khawatir bahwa ketergantungan yang berlebihan pada AI dapat menyebabkan hasil yang bias dan tidak divalidasi secara independen?

Kami memahami kekhawatiran ini dan mengakui bahwa sejumlah aplikasi di pasar saat ini mungkin memang bias. Respon kami adalah bahwa kami harus bersatu sebagai industri, sebagai komunitas kesehatan yang pertama dan terutama peduli dengan keselamatan pasien, untuk mendefinisikan kebijakan dan prosedur untuk mencegah bias tersebut dan memastikan aplikasi AI yang aman dan efektif. Pengembang AI memiliki tanggung jawab untuk memastikan bahwa produk AI yang dipasarkan telah divalidasi secara independen untuk mencapai kepercayaan dari para profesional kesehatan dan pasien. Rhino Health berkomitmen untuk mendukung produk AI yang aman dan tepercaya, dan bekerja sama dengan mitra untuk memungkinkan dan mempermudah validasi independen aplikasi AI sebelum penerapan di pengaturan klinis dengan membuka hambatan untuk data validasi yang diperlukan.

Apa visi Anda untuk masa depan AI dalam kesehatan?

Visi Rhino Health adalah dunia di mana AI telah mencapai potensinya yang penuh dalam kesehatan. Kami bekerja keras untuk menciptakan transparansi dan mendorong kolaborasi dengan menegaskan privasi untuk memungkinkan dunia ini. Kami memvisualisasikan AI kesehatan yang tidak terbatas oleh firewall, geografi, atau pembatasan regulasi. Pengembang AI akan memiliki akses yang dikontrol ke semua data yang mereka butuhkan untuk membangun model yang kuat dan beragam – dan untuk terus memantau dan meningkatkan model tersebut dengan aliran data secara real-time. Penyedia dan pasien akan memiliki kepercayaan diri bahwa mereka tidak kehilangan kontrol atas data mereka, dan dapat memastikan bahwa data tersebut digunakan untuk kebaikan. Regulator akan dapat memantau efikasi model yang digunakan dalam pengembangan farmasi & perangkat dalam waktu nyata. Organisasi kesehatan masyarakat akan mendapat manfaat dari kemajuan AI ini, sementara pasien dan penyedia dapat beristirahat dengan tenang mengetahui bahwa privasi dilindungi. Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Rhino Health.