Data Medis Anonim Berusia Puluhan Tahun Dapat Menyebabkan Misdiagnosis AI Sekarang

Menurut kolaborasi riset baru antara Jerman dan Inggris, catatan pasien anonim yang dimasukkan ke dalam dataset medis bahkan puluhan tahun yang lalu dapat menyebabkan sistem AI yang dilatih dengan data tersebut mengenali karakteristik pasien sebenarnya bertahun‑tahun kemudian – dan memperlakukan pasien pada tahun 2026 seolah‑olah masih tahun 2012 (atau tahun berapa pun data pasien anonim mereka pertama kali dimasukkan ke dalam dataset).

Ini bisa berarti, misalnya, bahwa seorang pasien yang tercatat menjalani perawatan kanker 20 tahun yang lalu, dan kemudian masuk remisi jangka panjang, kini dapat diperlakukan oleh sistem AI dalam konteks diri mereka yang lebih tua dan pernah menderita kanker – secara logis bahkan meningkatkan peluang diagnosis kelainan yang salah sebagai kekambuhan.

Sebaliknya, bila versi data pasien tahun 2012 menunjukkan kesehatan sempurna pada pemeriksaan rutin, sudut pandang optimis ini berpotensi diterapkan pada versi yang lebih tua dan saat ini pasien, menyembunyikan deteksi kondisi atau masalah baru yang mungkin memerlukan perawatan.

Dari makalah baru, ilustrasi bagaimana bias memorisasi dapat memengaruhi pasien yang kembali. Model yang dilatih pada EKG sehat Alice sebelumnya memberikan probabilitas hanya 15% untuk serangan jantungnya kemudian, dibandingkan dengan 73% untuk model yang tidak pernah melihat catatan historisnya. Sumber

Membatasi ‘Imigrasi Data’

Skenario ini menjadi lebih mungkin karena berbagai kebijakan nasional dan regional yang merekomendasikan agar data pasien untuk tujuan tersebut sebaiknya diambil dari negara tempat sistem yang dihasilkan akan digunakan, yang ‘melokalkan’ kumpulan pasien dalam dataset, dan secara signifikan meningkatkan peluang terjadinya peristiwa de-anonimisasi yang tidak terdeteksi ini.

Dengan inferensi, membatasi jumlah data yang tersedia hanya pada dataset nasional meningkatkan peluang memorisasi – kemungkinan bahwa model akan melihat data yang sama begitu banyak kali selama pelatihan sehingga menjadi ‘terfiksasi’ pada pola yang berlebihan dipelajari. Sebaliknya, semakin besar dan beragam sebuah dataset, semakin besar kemungkinannya untuk menggeneralisasi ke data yang belum pernah dilihat setelah pelatihan, alih-alih menghafal titik data atau konfigurasi spesifik.

Namun, menambahkan data medis ‘asing’ berisiko memperkenalkan bukti tren kesehatan nasional dan keunikan yang tidak berlaku di negara tempat model yang dilatih akan diterapkan; dalam hal ini, sebagaimana makalah baru mengakui, sejumlah memorisasi memang tepat dan berguna, karena membantu model beroperasi dalam karakteristik medis umum yang paling mungkin dari populasi tertentu.

Makalah tersebut menyatakan*:

‘Model [When] diterapkan secara prospektif, memorisasi menciptakan risiko khusus yang kurang dihargai. Karena catatan pasien sangat mirip secara internal seiring waktu, catatan di masa depan dapat berfungsi sebagai isyarat parsial untuk catatan historis yang dihafal, menggeser prediksi model ke arah kondisi kesehatan pasien sebelumnya.

Ini bukan skenario hipotetis. Model AI medis secara rutin diterapkan pada populasi yang sama dari mana data pelatihan mereka diambil.

‘Sebagai contoh, program skrining kanker payudara nasional Jerman program menggunakan model AI yang dilatih pada 1,2 juta mammogram yang diambil dari populasi skrining yang sama yang kini dilayaninya.

‘Penempatan serupa sedang berlangsung di tempat lain, termasuk program skrining kanker payudara nasional di Inggris dan Sweden.

‘Pedoman regulasi secara aktif mendorong hal ini, dengan EU AI Act yang mengharuskan data pelatihan mencerminkan setting geografis dan kontekstual penggunaan yang dimaksud (Art. 10(4)), dan pedoman internasional serupa untuk pengembangan AI medis yang meminta populasi pasien yang dimaksud harus cukup terwakili dalam dataset pelatihan model.’

Kalamitas Historis yang Berkelanjutan..?

Meskipun makalah tidak membahas hal ini, secara statistik tampak logis bahwa pasien yang tidak (atau tidak pernah) secara rutin menjalani pemeriksaan medis sepanjang hidup mereka, dan catatan anonim mereka masuk ke aliran data AI secara berkala, cenderung muncul dalam data pasien anonim hampir secara eksklusif pada saat mereka membutuhkan perawatan – yang cenderung meningkatkan peluang ‘memproyeksikan’ kondisi yang telah lama sembuh pada pasien yang sama sekarang, karena catatan tersebut tidak memiliki penyeimbang ‘kesehatan baik’.

Hal ini dibuktikan oleh penelitian sebelumnya tentang ‘bias kehadiran terinformasi’ dalam catatan kesehatan elektronik, yang menemukan bahwa dataset medis secara tidak proporsional merepresentasikan periode ketika pasien sakit dan berinteraksi dengan layanan kesehatan.

Satu studi menemukan bahwa pasien yang sangat sakit memiliki 5,05 kali lebih banyak hari dengan data laboratorium dan 6,85 kali lebih banyak hari dengan perintah obat dibandingkan pasien paling sehat.

Pada tahun 2022, sekitar 76 % orang dewasa AS melaporkan telah melakukan pemeriksaan rutin dalam setahun terakhir, yang didefinisikan oleh CDC sebagai pemeriksaan fisik umum, bukan perawatan untuk kondisi tertentu; dan di Eropa, survei multi‑negara tahun 2023 menemukan bahwa 58 % menghadiri setidaknya sebagian pemeriksaan pencegahan; namun hanya 15 % yang menghadiri semua janji pencegahan yang dianggap relevan bagi mereka.

Tingkat Dampak

Penelitian ini menguji efek tersebut pada empat dataset medis besar, mencakup rekaman ECG, foto dada, dan catatan kesehatan elektronik; yaitu, basis data foto dada MIMIC-CXR dan catatan perawatan darurat MIMIC-IV-ED, bersama dengan MIMIC-ECG serta koleksi ECG yang jauh lebih besar HEEDB. Ukuran dataset berkisar dari puluhan ribu pasien hingga lebih dari 1,8 juta orang.

Penulis mencatat bahwa efek yang dihitung sangat bervariasi, dengan perubahan probabilitas prediksi melebihi 70 poin persentase dalam beberapa kasus:

Hasil yang menunjukkan bagaimana data historis pasien mengubah prediksi selanjutnya. Panel atas membandingkan frekuensi dan besaran perubahan ini di keempat dataset; panel bawah menunjukkan bagaimana efek berubah seiring waktu sejak catatan pelatihan terakhir pasien. Efek signifikan menjadi kurang umum seiring waktu, namun tetap dapat dideteksi beberapa dekade kemudian.

Sebagai kontrol, peneliti secara acak membagi model menjadi kelompok dan mengulangi perbandingan, meskipun hal ini tidak menghasilkan perubahan signifikan pada prediksi di masa depan.

Efek tersebut, seperti dicatat dalam makalah, juga dapat bertahan selama beberapa dekade. Meskipun umumnya menjadi lebih lemah dan kurang umum seiring meningkatnya interval antar catatan, dataset HEEDB, yang berisi ECG yang dikumpulkan dari tahun 1980 hingga 2025, menunjukkan perubahan signifikan pada prediksi lebih dari 25 tahun setelah catatan pelatihan terakhir pasien.

Kerugian Diagnostik

Peneliti dalam makalah baru – berjudul Memorisation bias in medical AI – selanjutnya mensimulasikan bagaimana memori dapat memengaruhi akurasi diagnosis ketika pasien kemudian berhadapan dengan model yang dilatih pada catatan mereka sebelumnya.

Kasus di masa depan dibagi berdasarkan apakah pasien mengembangkan kondisi baru; tidak ada dalam data pelatihan historis mereka; atau apakah mereka kembali dengan kondisi kesehatan yang pada dasarnya sama.

Untuk kondisi baru, efek tersebut terbukti secara konsisten negatif, dengan model yang sebelumnya melihat catatan historis pasien menunjukkan sensitivitas lebih rendah pada berbagai diagnosis yang terdapat dalam keempat dataset. Ini mencakup infark dan abnormalitas ECG lainnya; kondisi paru; serta hasil kritis yang lebih luas.

Dalam istilah praktis, model menghasilkan lebih banyak negatif palsu ketika kesehatan pasien telah berubah; tetapi ketika kesehatan pasien tidak berubah, memori model tentang catatan mereka sebelumnya membuatnya lebih mungkin menghasilkan diagnosis yang tepat. Baik sensitivitas maupun spesifisitas meningkat karena kondisi pasien saat ini mirip dengan kondisi yang sudah terwakili dalam data pelatihan.

Penulis mencatat bahwa hal ini dapat membuat sistem semacam itu sulit dinilai secara akurat: jika kebanyakan pasien yang kembali masih memiliki kondisi yang sama, model akan tampil lebih baik pada mereka, yang berpotensi menyembunyikan sensitivitas yang lebih rendah terhadap pasien yang telah mengembangkan kondisi baru.

Solusi

Sebagai langkah pengamanan yang mungkin, peneliti menguji privasi diferensial (yang membatasi seberapa banyak informasi tentang contoh pelatihan individu dapat dipertahankan oleh model) selama pelatihan.

Meskipun melindungi catatan individu mengurangi efek memori, hal itu tidak menghilangkannya, bahkan pada pengaturan terkuat yang diuji. Penerapan perlindungan pada tingkat pasien, yang mencakup semua catatan milik orang yang sama, jauh lebih efektif, dan hampir menghilangkan efek tersebut.

Namun perlu dicatat bahwa jika sebuah dataset telah dianonimkan secara tidak dapat dipulihkan, data pasien tidak dapat dipisahkan dengan cara yang memungkinkan metode tersebut; dan, para peneliti mengamati, jika dataset tidak dilatih dengan privasi diferensial diaktifkan, serangan inferensi keanggotaan menjadi risiko; jika diaktifkan, sumber daya yang diperlukan untuk pelatihan meningkat secara signifikan.

Kesimpulan

Penulis menutup dengan mengamati bahwa meskipun insiden mengkhawatirkan saat ini terjadi pada tingkat yang relatif rendah, hal ini dapat berubah di masa depan*:

‘Ada alasan untuk mengharapkan jumlah diagnosis yang terlewat akibat bias menghafal akan meningkat di masa depan, meskipun kami tidak mengujinya secara langsung. Penelitian sebelumnya telah menunjukkan bahwa proporsi data pelatihan yang dihafal oleh model meningkat seiring dengan kapasitas model [6, 7, 9, 10, 40].’

‘Hal ini mengkhawatirkan, mengingat bahwa pengembangan model AI saat ini dipandu oleh “hukum skala” [41], yang mendorong pertumbuhan cepat baik ukuran model maupun dataset dalam upaya meningkatkan kinerja. ‘

‘Seiring model AI yang lebih besar dilatih pada data historis yang diambil dari populasi pasien yang semakin besar, jumlah absolut individu yang terkena bias menghafal kemungkinan akan meningkat secara drastis, memperburuk risiko yang kami identifikasi di sini.’

* Konversi saya terhadap kutipan inline penulis menjadi tautan hiperteks, dengan beberapa interpretasi bila replikasi tepat tidak memungkinkan atau tidak membantu.

Pertama kali dipublikasikan Jumat, 18 September 2026