Protege Meluncurkan Pengujian AI Layanan Kesehatan Independen saat Disease Odyssey Mengungkap Kesenjangan Diagnosis

Protege meluncurkan evaluasi independen terhadap AI layanan kesehatan dengan menguji model pada kasus pasien yang belum pernah mereka temui. Tolok ukur pertamanya, Disease Odyssey, memberi gambaran awal tentang pentingnya hal ini: menurut perusahaan, model-model terkemuka mengidentifikasi kondisi seperti apnea tidur dan anemia hanya pada 53%–69% kasus berdasarkan riwayat pasien.

Peluncuran pada 21 Oktober itu juga mencakup evaluasi bersama Xlue AI dan Standard Model Biomedicine. Secara bersama-sama, hasilnya menjawab dua pertanyaan penting bagi rumah sakit dan pengembang: apakah suatu model dapat menemukan sinyal klinis yang berguna dari rekam medis nyata, dan berapa biaya untuk menghasilkan prediksi tersebut.

Protege bertujuan mengalihkan lebih banyak proses penilaian tersebut ke pihak di luar organisasi yang mengembangkan model. Perusahaan ini merancang, menjalankan, dan menilai evaluasi menggunakan rekam medis pasien yang dilindungi privasinya serta jawaban yang diverifikasi klinisi, sehingga pengembang dapat mengidentifikasi kelemahan sebelum membuat klaim yang lebih luas tentang kinerja model.

Pengujian yang Berbeda dari Menjawab Soal Ujian Kedokteran

Pertanyaan medis dengan diagnosis yang dinyatakan secara jelas berbeda dari riwayat pasien yang tersebar dalam beberapa kunjungan. Gejala berkembang seiring waktu, rekam medis bisa saja tidak lengkap, dan petunjuk penentu mungkin tersembunyi di antara informasi yang kurang relevan. Disease Odyssey berfokus pada pengenalan penyakit sebelum diagnosis berdasarkan riwayat pasien dalam jangka panjang ini.

Kisaran 53%–69% yang dilaporkan berlaku untuk kasus dan kondisi yang diuji, bukan untuk AI layanan kesehatan secara keseluruhan. Pengumuman Protege tidak memberikan cukup perincian tentang jumlah sampel, model pembanding yang digunakan secara persis, atau ketidakpastian hasil untuk mendukung pemeringkatan yang lebih luas. Namun, hasil tersebut menunjukkan bahwa masih ada ruang besar untuk perbaikan berdasarkan tolok ukur awal perusahaan.

“AI layanan kesehatan berkembang pesat, tetapi cara kita mengevaluasinya belum mampu mengimbangi,” kata Bobby Samuels, salah satu pendiri sekaligus CEO Protege, dalam pengumuman tersebut.

Cara Protege Memisahkan Pengujian dari Pengembangan

Protege menggambarkan prosesnya sebagai uji buta ganda: pengembang model tidak melihat data atau pertanyaan pasien sebelumnya, sementara Protege mengevaluasi sistem tanpa mengetahui cara sistem tersebut dibuat. Dalam konteks ini, istilah tersebut merujuk pada pengaturan evaluasi, bukan uji klinis acak.

Materi pengujian perlu dijauhkan dari proses pengembangan karena paparan terhadap pertanyaan tolok ukur dapat membuat kinerja tampak lebih tinggi daripada kenyataannya. Model yang pernah menemukan suatu jawaban selama pelatihan mungkin terlihat lebih mampu daripada kemampuannya yang sesungguhnya ketika menghadapi kasus yang benar-benar baru.

Platform evaluasi layanan kesehatan milik perusahaan ini menambahkan sejumlah pengendalian praktis. Platform tersebut mencakup kasus uji yang dilindungi dan disisihkan dari proses pengembangan, tugas dan penilaian yang diberi versi, serta analisis pola kegagalan dan populasi yang terdampak. Pemberian versi membuat perbandingan antar-rilis model lebih bermakna: skor yang lebih tinggi lebih mudah ditafsirkan jika tugas dan aturan penilaian tidak diam-diam berubah.

Platform tersebut menggunakan informasi tertaut, termasuk rekam medis elektronik, catatan klinis, pencitraan, patologi, klaim, dan hasil. Data Lab mengubah pertanyaan klinis menjadi tugas evaluasi dan jawaban acuan. Kombinasi ini dimaksudkan untuk menguji cara model menggunakan konteks klinis, bukan sekadar kemampuannya mengulang fakta medis yang terpisah-pisah.

Model Khusus Bersaing dalam Kinerja dan Biaya

Evaluasi yang menyertai pengumuman ini menguji berbagai tugas, sehingga hasilnya perlu dibaca secara terpisah dari Disease Odyssey.

Dalam kerja sama dengan Standard Model Biomedicine, Protege mengevaluasi prediksi terkait kelangsungan hidup pasien kanker payudara dan kanker paru-paru, serta waktu hingga pasien menjalani perawatan berikutnya. Perusahaan melaporkan bahwa model khusus tersebut berkinerja kompetitif dibandingkan sistem terkemuka, dengan biaya per prediksi 36–170 kali lebih rendah.

Evaluasi terpisah terhadap model HealthSAW milik Xlue AI mengkaji risiko mendatang terkait kanker, penyakit kardiovaskular, dan kondisi neurologis. Menurut Protege, HealthSAW mengungguli model-model terkemuka dalam 14 dari 16 pengujian, dengan biaya per pasien kurang dari 0,1% biaya model-model tersebut.

Ini adalah perbandingan khusus untuk tugas tertentu yang dilaporkan Protege, bukan bukti bahwa satu model terbaik untuk setiap lingkungan klinis. Pengumuman tersebut tidak memerinci metodologi penghitungan biaya secara lengkap. Biaya prediksi yang lebih rendah dapat membuat skrining berulang atau analisis skala besar lebih praktis, tetapi biaya penerapan juga bergantung pada integrasi, pengawasan, dan pekerjaan yang timbul akibat hasil yang keliru.

Evaluasi Perlu Mengimbangi Pembaruan Model

Bisnis Protege yang lebih luas menyediakan data untuk pengembangan AI, sehingga pemisahan data pengembangan dari data evaluasi menjadi bagian penting dari pendekatannya. Materi perusahaan menekankan asal-usul data, akses terkendali, dan pembaruan kasus pasien sebagai cara untuk mempertahankan kegunaan pengujian dari waktu ke waktu.

Perusahaan berencana memperluas evaluasi ke bidang-bidang seperti patologi, dermatologi, onkologi, dan alur kerja administratif. Tujuannya adalah membangun proses berulang yang dapat dijalankan kembali seiring perubahan model, bukan menghasilkan satu skor yang dilekatkan secara permanen pada suatu produk.

Hal ini bermanfaat bagi pembeli maupun pengembang. Rumah sakit perlu mengetahui apakah model yang diperbarui masih berfungsi dengan baik untuk populasi pasien dan alur kerjanya. Pengembang membutuhkan lebih dari sekadar skor rata-rata: mereka perlu memahami kasus mana yang gagal ditangani dan apakah peningkatan di satu area menimbulkan kelemahan di area lain.

Pengujian independen dapat membuat pembahasan tersebut lebih konkret, tetapi kinerja pada tolok ukur retrospektif tidak sama dengan manfaat yang terbukti dalam praktik klinis. Studi prospektif, kinerja pada berbagai kelompok pasien, tingkat positif palsu dan negatif palsu, serta dampaknya terhadap beban kerja klinisi tetap merupakan bagian penting dari bukti.

Peluncuran Protege mengajukan pertanyaan yang lebih tajam kepada perusahaan AI bidang kesehatan: bagaimana kinerja sistem ketika kasus-kasusnya tidak familiar dan pihak lain yang menentukan pengujiannya? Nilai layanan baru ini akan bergantung pada seberapa jelas metode dan hasilnya membantu organisasi menjawab pertanyaan tersebut—serta seberapa konsisten pengujiannya mengungkap masalah yang luput dari demonstrasi yang tampak meyakinkan.