Revolusi Kesehatan: Menjelajahi Dampak dan Masa Depan Model Bahasa Besar di Bidang Kedokteran

Integrasi dan penerapan model bahasa besar (LLM) di bidang kedokteran dan kesehatan telah menjadi topik perhatian dan pengembangan yang signifikan.

Sebagaimana disebutkan dalam Konferensi Global Healthcare Information Management and Systems Society dan acara-acara lainnya, perusahaan seperti Google (GOOGL ) memimpin upaya dalam menjelajahi potensi AI generatif di bidang kesehatan. Inisiatif mereka, seperti Med-PaLM 2, menunjukkan lanskap yang berkembang dari solusi kesehatan yang didorong oleh AI, terutama di bidang diagnostik, perawatan pasien, dan efisiensi administratif.

Med-PaLM 2 Google, sebuah LLM pionir di bidang kesehatan, telah menunjukkan kemampuan yang mengesankan, terutama mencapai tingkat “ahli” dalam pertanyaan gaya U.S. Medical Licensing Examination. Model ini, dan lain-lain seperti itu, berjanji untuk merevolusi cara profesional kesehatan mengakses dan menggunakan informasi, potensial meningkatkan akurasi diagnostik dan efisiensi perawatan pasien.

Namun, bersama dengan kemajuan ini, kekhawatiran tentang kelayakan dan keamanan teknologi ini di lingkungan klinis telah muncul. Misalnya, ketergantungan pada sumber data internet yang luas untuk pelatihan model, sementara bermanfaat dalam beberapa konteks, mungkin tidak selalu sesuai atau dapat diandalkan untuk tujuan medis. Sebagaimana Nigam Shah, PhD, MBBS, Kepala Ilmuwan Data untuk Stanford Health Care, menunjukkan, pertanyaan kunci untuk ditanyakan adalah tentang kinerja model ini di lingkungan medis nyata dan dampaknya yang sebenarnya pada perawatan pasien dan efisiensi kesehatan.

Pandangan Dr. Shah menekankan kebutuhan akan pendekatan yang lebih terarah dalam menggunakan LLM di bidang kedokteran. Sebagai gantinya untuk model umum yang dilatih pada data internet yang luas, ia menyarankan strategi yang lebih fokus di mana model dilatih pada data medis spesifik dan relevan. Pendekatan ini menyerupai pelatihan seorang intern medis – memberikan mereka tugas spesifik, mengawasi kinerja mereka, dan secara bertahap memungkinkan lebih banyak otonomi ketika mereka menunjukkan kompetensi.

Sejalan dengan ini, pengembangan Meditron oleh peneliti EPFL menyajikan kemajuan menarik di bidang ini. Meditron, sebuah LLM sumber terbuka yang dirancang khusus untuk aplikasi medis, merupakan langkah maju yang signifikan. Dilatih pada data medis yang dikurasi dari sumber yang terpercaya seperti PubMed dan pedoman klinis, Meditron menawarkan alat yang lebih fokus dan potensial lebih dapat diandalkan bagi praktisi medis. Sifat sumber terbukanya tidak hanya mempromosikan transparansi dan kolaborasi tetapi juga memungkinkan perbaikan dan pengujian stres yang berkelanjutan oleh komunitas penelitian yang lebih luas.

MEDITRON-70B-achieves-an-accuracy-of-70.2-on-USMLE-style-questions-in-the-MedQA-4-options-dataset

Pengembangan alat seperti Meditron, Med-PaLM 2, dan lain-lain mencerminkan pengakuan yang berkembang tentang kebutuhan unik sektor kesehatan ketika datang ke aplikasi AI. Penekanan pada melatih model ini pada data medis yang relevan dan berkualitas tinggi, dan memastikan keamanan dan keandalan mereka di lingkungan klinis, sangat penting.

Lebih lanjut, inklusi dataset yang beragam, seperti yang dari konteks kemanusiaan seperti Komite Internasional Palang Merah, menunjukkan kepekaan terhadap kebutuhan dan tantangan yang berbeda di kesehatan global. Pendekatan ini sejalan dengan misi yang lebih luas dari banyak pusat penelitian AI, yang bertujuan untuk menciptakan alat AI yang tidak hanya canggih secara teknologi tetapi juga bertanggung jawab secara sosial dan bermanfaat.

Makalah berjudul “Large language models encode clinical knowledge” yang baru-baru ini diterbitkan di Nature, menjelajahi bagaimana model bahasa besar (LLM) dapat digunakan secara efektif di lingkungan klinis. Penelitian ini menyajikan wawasan dan metodologi yang mendalam, memperluas pengetahuan tentang kemampuan dan keterbatasan LLM di domain medis.

Domain medis ditandai dengan kompleksitasnya, dengan berbagai gejala, penyakit, dan pengobatan yang terus berkembang. LLM tidak hanya harus memahami kompleksitas ini tetapi juga harus tetap mengikuti pengetahuan medis terbaru dan pedoman.

Inti dari penelitian ini berkisar pada benchmark baru yang disebut MultiMedQA. Benchmark ini menggabungkan enam dataset pertanyaan-jawaban medis yang ada dengan dataset baru, HealthSearchQA, yang terdiri dari pertanyaan medis yang sering dicari secara online. Pendekatan komprehensif ini bertujuan untuk mengevaluasi LLM di berbagai dimensi, termasuk faktualitas, pemahaman, penalaran, kemungkinan bahaya, dan bias, sehingga mengatasi keterbatasan evaluasi otomatis sebelumnya yang bergantung pada benchmark terbatas.

MultiMedQA, a benchmark for answering medical questions spanning medical exam

Kunci dari studi ini adalah evaluasi Model Bahasa Pathways (PaLM), sebuah LLM dengan 540 miliar parameter, dan varian yang disesuaikan dengan instruksi, Flan-PaLM, pada MultiMedQA. Flan-PaLM mencapai akurasi tertinggi pada semua dataset pilihan ganda dalam MultiMedQA, termasuk akurasi 67,6% pada MedQA, yang terdiri dari pertanyaan gaya US Medical Licensing Exam. Kinerja ini menandai peningkatan yang signifikan dibandingkan dengan model sebelumnya, melampaui state of the art sebelumnya lebih dari 17%.

MedQA

Format: pertanyaan dan jawaban (Q + A), pilihan ganda, domain terbuka.

Contoh pertanyaan: Seorang pria berusia 65 tahun dengan hipertensi datang ke dokter untuk pemeriksaan kesehatan rutin. Obat-obatan saat ini termasuk atenolol, lisinopril, dan atorvastatin. Denyut nadinya adalah 86 menit-1, pernapasannya adalah 18 menit-1, dan tekanan darahnya adalah 145/95 mmHg. Pemeriksaan jantung mengungkapkan murmur diastolik. Mana dari berikut ini yang paling mungkin menyebabkan pemeriksaan fisik ini?

Jawaban (jawaban yang benar dalam huruf tebal): (A) Penurunan kepatuhan ventrikel kiri, (B) Degenerasi miksomatosa dari katup mitral (C) Peradangan perikardium (D) Dilatasi akar aorta (E) Penebalan daun katup mitral.

Studi ini juga mengidentifikasi celah kritis dalam kinerja model, terutama dalam menjawab pertanyaan medis konsumen. Untuk mengatasi masalah ini, peneliti memperkenalkan metode yang disebut penyetelan instruksi. Teknik ini secara efisien menyelaraskan LLM dengan domain baru menggunakan beberapa contoh, menghasilkan penciptaan Med-PaLM. Model Med-PaLM, meskipun menunjukkan kinerja yang mengesankan dan menunjukkan perbaikan dalam pemahaman, pengingatan pengetahuan, dan penalaran, masih kurang dibandingkan dengan klinisi.

Aspek penting dari penelitian ini adalah kerangka evaluasi manusia yang terperinci. Kerangka ini menilai jawaban model untuk kesepakatan dengan konsensus ilmiah dan kemungkinan hasil yang berbahaya. Misalnya, sementara hanya 61,9% dari jawaban Flan-PaLM yang panjang sesuai dengan konsensus ilmiah, angka ini meningkat menjadi 92,6% untuk Med-PaLM, setara dengan jawaban yang dihasilkan klinisi. Demikian pula, potensi untuk hasil yang berbahaya secara signifikan berkurang dalam respons Med-PaLM dibandingkan dengan Flan-PaLM.

Evaluasi manusia dari respons Med-PaLM menyoroti kemampuannya dalam beberapa area, sejalan dengan jawaban yang dihasilkan klinisi. Ini menekankan potensi Med-PaLM sebagai alat pendukung di lingkungan klinis.

Penelitian yang dibahas di atas menyelami kerumitan peningkatan Model Bahasa Besar (LLM) untuk aplikasi medis. Teknik dan observasi dari studi ini dapat diterapkan untuk meningkatkan kemampuan LLM di berbagai domain. Mari kita jelajahi aspek-aspek kunci ini:

Penyetelan Instruksi Meningkatkan Kinerja

• Aplikasi Umum: Penyetelan instruksi, yang melibatkan penyetelan LLM dengan instruksi atau pedoman spesifik, telah menunjukkan peningkatan kinerja yang signifikan di berbagai domain. Teknik ini dapat diterapkan di bidang lain seperti hukum, keuangan, atau pendidikan untuk meningkatkan akurasi dan relevansi output LLM.

Mengukur Ukuran Model

• Implikasi yang Lebih Luas: Observasi bahwa mengukur ukuran model meningkatkan kinerja tidak terbatas pada pertanyaan jawaban medis. Model yang lebih besar, dengan lebih banyak parameter, memiliki kapasitas untuk memproses dan menghasilkan respons yang lebih nuansa dan kompleks. Peningkatan ini dapat bermanfaat di domain seperti layanan pelanggan, penulisan kreatif, dan dukungan teknis, di mana pemahaman dan generasi respons yang nuansa sangat penting.

Penyebab Rantai (COT) Pemanggilan

• Pemanfaatan Domain yang Beragam: Penggunaan pemanggilan COT, meskipun tidak selalu meningkatkan kinerja di dataset medis, dapat berharga di domain lain di mana pemecahan masalah kompleks diperlukan. Misalnya, dalam pemecahan masalah teknis atau skenario pengambilan keputusan yang kompleks, pemanggilan COT dapat membantu LLM memproses informasi secara bertahap, menghasilkan output yang lebih akurat dan terarah.

Konsistensi Diri untuk Akurasi yang Ditingkatkan

• Aplikasi yang Lebih Luas: Teknik konsistensi diri, di mana beberapa output dihasilkan dan jawaban yang paling konsisten dipilih, dapat secara signifikan meningkatkan kinerja di berbagai bidang. Di domain seperti keuangan atau hukum di mana akurasi sangat penting, metode ini dapat digunakan untuk memverifikasi output yang dihasilkan untuk keandalan yang lebih tinggi.

Ketidakpastian dan Prediksi Selektif

• Relevansi Antar-Domain: Komunikasi estimasi ketidakpastian sangat penting di bidang di mana informasi yang salah dapat memiliki konsekuensi serius, seperti kesehatan dan hukum. Menggunakan kemampuan LLM untuk mengungkapkan ketidakpastian dan secara selektif menolak prediksi ketika kepercayaan rendah dapat menjadi alat penting di domain ini untuk mencegah penyebaran informasi yang tidak akurat.

Penerapan model ini di dunia nyata meluas beyond menjawab pertanyaan. Mereka dapat digunakan untuk pendidikan pasien, membantu dalam proses diagnostik, dan bahkan dalam pelatihan mahasiswa kedokteran. Namun, penerapan mereka harus dikelola dengan hati-hati untuk menghindari ketergantungan pada AI tanpa pengawasan manusia yang memadai.

Saat pengetahuan medis berkembang, LLM juga harus beradaptasi dan belajar. Ini memerlukan mekanisme untuk pembelajaran dan pembaruan yang berkelanjutan, memastikan bahwa model tetap relevan dan akurat seiring waktu.