Google Menerbitkan Kerangka Multimetode untuk Mengevaluasi AI Kesehatan

Google mengumumkan sebuah makalah putih pada 4 November 2026, yang memaparkan cara Google mengevaluasi AI generatif serbaguna di bidang kesehatan. Kerangka ini memadukan tolok ukur dengan pertanyaan tertutup, penilai otomatis berbasis AI, dan tinjauan manusia oleh pakar untuk menilai akurasi, keselamatan, dan kegunaan dalam berbagai skenario umum maupun berisiko tinggi.

Penulisnya, Dr. Sarah Montgomery-Taylor, adalah pemimpin evaluasi klinis di Google for Health; Dr. Elizabeth McGlynn dan Dr. Dana Gelb Safran turut bekerja sama dalam penyusunan karya ini. Google menyatakan bahwa pihaknya mengembangkan pendekatan tersebut dan terus menggunakannya untuk menilai apakah model-modelnya memberikan respons yang berguna dan akurat serta mendukung interaksi kesehatan yang aman. Penerbitan metodologi ini bertujuan mendorong transparansi dan membantu pengembang, peneliti, serta klinisi membangun alat yang dapat dipercaya masyarakat.

Menyelaraskan Evaluasi dengan Penggunaan Klinis di Dunia Nyata

Para penulis berpendapat bahwa metode evaluasi yang dirancang untuk tugas-tugas terpisah tidak cukup mencakup model serbaguna. Mereka mencontohkan model AI sebelum era AI generatif yang mampu mendeteksi kanker paru-paru pada hasil pemindaian CT, tetapi tidak dapat mendeteksi kanker payudara pada mammogram atau merangkum percakapan menjadi catatan. Ketika satu model dapat menangani ratusan, ribuan, atau lebih banyak tugas, pengembang dan organisasi kesehatan memerlukan cara untuk menentukan prioritas interaksi dan risiko.

Sebelum memilih kasus uji, evaluator memetakan Perjalanan Pengguna Kritis: siapa yang menggunakan sistem, apa yang ingin mereka capai, dan langkah-langkah yang diperlukan. Pengguna dapat mencakup pasien, anggota keluarga, klinisi, atau administrator. Pemetaan ini menjadi panduan dalam menyusun data dan metrik pengujian yang representatif. Pemetaan tersebut juga mencakup tujuan penggunaan serta bentuk penyalahgunaan yang umum, termasuk penggunaan di luar indikasi dan upaya melewati filter keselamatan.

Setiap aplikasi kemudian dinilai dalam tiga ranah. Akurasi mencakup kesesuaian dengan konsensus medis, dukungan bukti, ketepatan fakta, penalaran klinis, dan kesesuaian konteks; untuk tugas seperti peringkasan medis, penilaian juga mencakup keterlacakan ke sumber. Penilaian keselamatan tidak hanya melihat apakah pernyataannya benar, tetapi juga bahaya yang mungkin timbul ketika seseorang menafsirkan jawaban lalu bertindak atau tidak bertindak berdasarkan jawaban tersebut. Penilaian mempertimbangkan tingkat keparahan dan kemungkinan terjadinya bahaya itu. Kegunaan mencakup literasi kesehatan, relevansi, kelengkapan, dan apakah seseorang dapat mengambil tindakan berdasarkan respons tersebut. Karena itu, sebuah respons bisa akurat tetapi tidak aman, atau akurat dan aman tetapi terlalu rumit atau tidak dapat ditindaklanjuti sehingga tidak membantu penggunanya.

Contoh dalam makalah tersebut menunjukkan bagaimana risiko utama berubah sesuai tugasnya. Bagi konsumen yang memeriksa gejala, masalah keselamatan yang paling utama adalah kegagalan menandai gejala tanda bahaya yang memerlukan penanganan segera; sebaliknya, jawaban yang terlalu mengkhawatirkan dapat menimbulkan kecemasan yang tidak perlu, sementara panduan penilaian mandiri yang tidak jelas dapat menghambat langkah selanjutnya yang tepat. Untuk ringkasan pemulangan pasien yang disusun dengan bantuan AI bagi klinisi, halusinasi, penghilangan informasi, dan kesalahan fakta mengancam akurasi; alergi yang terlewat atau obat yang dikontraindikasikan menimbulkan bahaya keselamatan; sedangkan format yang membingungkan atau linimasa yang tidak konsisten dapat mengurangi kegunaan.

Memadukan Skala Otomatisasi dengan Penilaian Manusia

Metode evaluasi pertama mengandalkan tes dengan jawaban pasti, seperti soal pilihan ganda, yang memungkinkan pemeriksaan awal atas pengetahuan dasar dalam jumlah besar dilakukan dengan biaya relatif rendah. Tes statis tidak dapat meniru kerumitan dan keterwakilan interaksi di dunia nyata. Kontaminasi data juga menjadi keterbatasan: ketika pertanyaan tes muncul dalam data pelatihan, hasilnya dapat mencerminkan persiapan menghadapi tes, bukan penalaran medis yang dapat diterapkan secara umum. Karena itu, kerangka ini menggunakan tolok ukur tersebut untuk menetapkan dasar awal dan mengarahkan evaluasi selanjutnya, sementara metode tambahan diperlukan untuk memvalidasi kinerja di dunia nyata.

Metode kedua menugaskan sistem AI lain untuk memberikan penilaian. Penilai otomatis ini menerapkan rubrik tertulis pada jawaban terbuka, sehingga lebih banyak skenario dapat diperiksa dibandingkan jumlah yang secara wajar dapat dinilai oleh penelaah ahli. Penilai tersebut dapat mengevaluasi percakapan multi-giliran simulasi, ketika pengguna pada awalnya tidak menyampaikan detail klinis, untuk menguji apakah model mengajukan pertanyaan klarifikasi sebelum memberikan panduan. Penilai otomatis tetap perlu divalidasi menggunakan data acuan yang dibuat oleh pakar karena dapat memberikan nilai lebih tinggi pada jawaban yang bertele-tele, lebih menyukai respons dari keluarga modelnya sendiri, dan meneruskan anotasi manusia yang bising.

Klinisi dan pakar bidang lainnya kemudian menelaah kasus-kasus yang paling sulit dinilai dengan rubrik otomatis, termasuk kasus dengan kondisi kompleks, kasus-kasus khusus, dan topik yang belum memiliki konsensus klinis yang kuat. Mereka juga menilai apakah keluaran sesuai dengan norma klinis setempat dan beragam populasi pasien. Pengujian keselamatan secara terpisah menguji batas keselamatan melalui taktik seperti permohonan emosional, penggambaran fiktif, atau berpura-pura menjadi tenaga kesehatan untuk memancing keluaran yang melampaui cakupan penggunaan produk yang dimaksudkan. Tinjauan manusia juga dapat keliru: para penulis mencatat bahwa dua dokter dapat berbeda 30–40% atau lebih dalam tugas pemberian nilai, sehingga diperlukan kendali atas variasi antarpenilai dan analisis yang tepat.

Pemantauan Berlanjut Setelah Penerapan

Evaluasi dimulai sebelum produk tersedia, dengan menguji kemampuan umum dan keselamatan model dasar. Setelah model mulai dikembangkan menjadi aplikasi, evaluasi disesuaikan dengan pengguna dan alur kerja produk tersebut. Menjelang peluncuran, penerapan terkendali dapat mencakup uji coba bayangan tanpa pemberitahuan, uji coba klinis, atau peluncuran bertahap, disertai pengujian faktor manusia dan kemudahan penggunaan sebelum produk tersedia secara lebih luas.

Tim klinis dan tim pengembangan harus bersama-sama menetapkan ambang kelulusan dan bobot rubrik penilaian pada setiap tahap evaluasi produk, berdasarkan profil risiko klinis aplikasi, bukan berdasarkan batas angka universal atau arbitrer. Setelah penerapan, pengembang memantau pergeseran algoritmik dan stabilitas sistem. Organisasi yang menerapkan produk memantau keselamatan alur kerja klinis untuk perangkat profesional, atau keselamatan pengguna dan pola penggunaan untuk produk konsumen.

Para penulis menyatakan bahwa sinyal reaktif, seperti keluhan pengguna dan kejadian sentinel, tidak dapat menjadi satu-satunya dasar pemantauan setelah penerapan. Himpunan pengujian berbeda dari interaksi nyata, dan pengguna mengubah perintah serta ekspektasi mereka seiring bertambahnya pengalaman. Temuan pemantauan harus menjadi masukan bagi persyaratan, pelatihan, dan prioritas evaluasi berikutnya. Pemantauan interaksi dan luaran kesehatan dalam jangka panjang menghadapi silo data serta kendala privasi, teknis, dan organisasi. Makalah tersebut juga mengidentifikasi tanggung jawab bersama antara pengembang dan sistem kesehatan, biaya penerapan, validasi independen, serta konsensus ilmiah sebagai hal-hal tata kelola yang masih perlu dituntaskan.

Bagi pengembang dan sistem kesehatan, kerangka kerja ini mengalihkan fokus dari pertanyaan apakah suatu model lulus tolok ukur statis ke pertanyaan apakah akurasi, keselamatan, dan kegunaannya dapat dibuktikan sepanjang pengembangan dan penerapan. Tantangan utamanya bersifat praktis: menghubungkan pemantauan dengan akuntabilitas, sekaligus menetapkan tanggung jawab, mendanai pekerjaan tersebut, dan memvalidasi hasil secara independen di berbagai batas organisasi dan data.