Masalah Akuntabilitas yang Difus dalam Kesehatan AI

Dalam kesehatan, AI sekarang telah tertanam dalam segala sesuatu dari keputusan klinis hingga sumber daya manusia dan keuangan. Namun, banyak organisasi masih kekurangan delegasi manajemen risiko yang diperlukan untuk memastikan alat AI tidak menyebabkan kerusakan. Ketidakadaan pengawasan yang terstruktur berarti keputusan yang terkait dengan AI dibuat tanpa akuntabilitas yang jelas, sehingga organisasi terpapar pada risiko pelanggaran etika dan peraturan.

Ketika tidak ada yang bertanggung jawab atas keputusan dan tindakan AI, titik buta akan berkembang dengan cepat. Konsekuensi dari sistem AI yang membuat keputusan dengan risiko tinggi tanpa pengawasan sangat banyak dan jauh, terutama ketika nyawa manusia dipertaruhkan.

Hari ini, celah tata kelola AI tampak seperti titik balik sebelumnya di mana kurva teknologi meningkat lebih cepat daripada kemampuan perusahaan untuk mengelolanya. Kami telah melewati ini dengan komputasi awan: tim mengadopsi SaaS, IaaS, dan “shadow IT” untuk bergerak lebih cepat, sementara tata kelola tertinggal pada dasar-dasar seperti klasifikasi data, identitas dan manajemen akses, pengawasan vendor, logging/monitoring, dan kejelasan tanggung jawab bersama—sehingga akuntabilitas menjadi tersebar di seluruh IT, keamanan, pengadaan, dan bisnis. Kami juga telah melihat ini dengan penggunaan cepat IT dan mobile/BYOD, di mana karyawan membawa perangkat dan aplikasi baru ke lingkungan yang diatur sebelum organisasi memiliki kebijakan yang matang untuk enkripsi, kontrol endpoint, verifikasi aplikasi, dan e-discovery. Dalam setiap kasus, adopsi tersebut rasional dan seringkali menciptakan nilai—tapi ketidakadaan kepemilikan yang jelas, kontrol yang terstandar, dan pengawasan siklus hidup menciptakan kegagalan yang dapat diprediksi. Pelajaran untuk AI sangatlah sederhana: tata kelola tidak dapat menjadi sesuatu yang ditambahkan setelah inovasi; itu harus dibangun seperti infrastruktur kritis lainnya—secara sengaja, dengan hak keputusan yang didefinisikan, pemantauan terus-menerus, dan pengaman yang dapat ditegakkan.

Masalah dengan Akuntabilitas yang Difus

Penggunaan AI yang cepat telah melampaui perkembangan standar tata kelola dan akuntabilitas, menyebabkan celah “akuntabilitas yang difus” di mana tidak ada entitas tunggal yang mengambil tanggung jawab ketika AI gagal.

Tanggung jawab sudah menjadi masalah yang sangat umum di kesehatan, dan AI hanya membawa tantangan baru. Alat AI tidak memiliki identitas hukum yang diakui, sehingga mereka tidak dapat digugat atau diasuransikan, dan tidak dapat membayar kompensasi hukum kepada korban. Dalam proses hukum, kesalahan harus dialihkan ke aktor manusia atau perusahaan, bukan alat.

Peneliti di The Lancet, jurnal penelitian medis terkemuka, baru-baru ini berargumen bahwa “struktur tanggung jawab lembaga harus mengalihkan tanggung jawab dari klinisi ke organisasi yang merancang dan menerapkan [alat AI].” Jelas bahwa pertanyaan-pertanyaan seputar tanggung jawab akan bertahan selama beberapa waktu ke depan.

Uni Eropa berusaha untuk menangani masalah-masalah ini pada skala regional. Blok telah memperkenalkan dua instrumen legislatif utama: Undang-Undang AI, yang mengatur penggunaan AI berdasarkan tingkat risiko dan menekankan pelestarian pengawasan manusia; dan direktif tanggung jawab AI, yang menetapkan aturan baru yang membuat orang lebih mudah untuk mencari kompensasi atas kerusakan yang disebabkan oleh AI.

Tapi regulasi saja tidak akan menyelesaikan masalah. Rumah sakit beroperasi dalam jaringan kompleks vendor, klinisi, administrator, dan tim IT, sehingga ketika sistem AI menghasilkan output yang berbahaya atau bias, tanggung jawab menjadi dipindahkan di antara pemangku kepentingan: vendor mungkin menunjuk pada penggunaan yang tidak tepat, klinisi mungkin mengatakan desain yang bermasalah, dan kepemimpinan bisa menyalahkan ketidakjelasan regulasi.

Semua ini berarti akuntabilitas menjadi difus, sehingga rumah sakit menjadi rentan terhadap pertempuran hukum besar.

Langkah Praktis untuk Menutup Celah Tata Kelola

Kabar baiknya adalah bahwa bahkan tanpa regulasi yang komprehensif, organisasi kesehatan dapat proaktif menutup celah tata kelola AI. Untuk memulai, pemimpin dapat memulai dengan laporan Organisasi Kesehatan Dunia, “Etika & Tata Kelola Kecerdasan Buatan untuk Kesehatan,” yang bertujuan untuk memaksimalkan janji AI sambil meminimalkan risiko.

Langkah-langkah yang diuraikan dalam laporan ini bertujuan untuk melindungi otonomi, mempromosikan kesejahteraan manusia dan keselamatan publik, memastikan transparansi dan keterjelasan, serta memupuk tanggung jawab dan akuntabilitas. Untuk menangani celah tata kelola, mari kita fokus pada dua poin terakhir.

Terapkan pendekatan terpadu untuk tata kelola AI, memastikan bahwa itu dipimpin dari atas oleh dewan atau ahli. Saat ini, banyak organisasi membiarkan departemen individu menggunakan AI di mana mereka melihatnya, sehingga pemimpin tidak dapat menjelaskan bagaimana dan di mana organisasi menggunakan alat-alat ini. Visibilitas sangat penting, pastikan Anda memiliki daftar alat yang digunakan, di mana, dan untuk tujuan apa.

Sangat penting untuk menetapkan garis tanggung jawab yang jelas di seluruh siklus hidup AI. Ini berarti membuat orang atau departemen bertanggung jawab atas segala sesuatu, dari pengadaan dan validasi hingga penerapan, pemantauan, dan respon insiden. Rumah sakit harus meminta vendor untuk memenuhi standar transparansi dan audit yang ditetapkan, serta memastikan tim internal dilatih untuk memahami baik kemampuan maupun keterbatasan sistem AI.

Akhirnya, tata kelola harus dioperasikan, bukan hanya didokumentasikan. Tanamkan kebijakan ke dalam alur kerja dengan mengintegrasikan penilaian risiko AI ke dalam proses pengadaan, melakukan audit teratur kinerja AI, dan menciptakan mekanisme bagi staf garis depan untuk melaporkan kekhawatiran tanpa gesekan.

Dalam prakteknya, menutup celah tata kelola lebih tentang menerapkan disiplin: standarisasi bagaimana AI memasuki organisasi, mendefinisikan siapa yang memiliki tanggung jawab pada setiap tahap, dan memastikan kinerjanya terus-menerus diperiksa. Tanpa disiplin tersebut, alat AI akan terus melampaui struktur yang dirancang untuk menjaganya tetap aman.

Risiko Tersembunyi: Kualitas Data

Bahkan ketika struktur akuntabilitas ada, risiko lain sering kali diremehkan: integritas data yang memasuki sistem AI dan bagaimana sistem tersebut berkembang seiring waktu. Setiap sistem AI hanya seandalam data yang digunakannya dan terus-menerus dipelajari, dan lingkungan data rumah sakit terkenal karena fragmentasi, inkonsistensi, dan celah.

Rekam medis elektronik, sistem pencitraan, dan platform administratif sering beroperasi dalam silo, menciptakan inkonsistensi yang dapat langsung mempengaruhi output AI. Model yang dilatih pada dataset yang tidak lengkap atau bias dapat menghasilkan rekomendasi yang bermasalah yang mungkin tidak terdeteksi sampai kerusakan telah terjadi. Ini sangat berbahaya dalam pengaturan klinis, di mana deviasi kecil dalam akurasi dapat diterjemahkan menjadi konsekuensi signifikan bagi pasien.

Mengompensasi masalah ini adalah “model drift“: kecenderungan model AI untuk menyimpang dari instruksi dan konteks ketika lebih banyak data memasuki sistem. Ketika populasi pasien berkembang, protokol pengobatan baru diperkenalkan, dan faktor eksternal mempengaruhi operasi, asumsi dasar alat AI dapat bergeser. Tanpa pemantauan terus-menerus dan kalibrasi ulang, sistem AI yang pernah berfungsi dengan baik mungkin mulai mengambil tindakan atau mengusulkan solusi yang menyimpang dari pelatihan.

Untuk menangani model drift, rumah sakit harus memperlakukan sistem AI sebagai aset dinamis dengan risiko tinggi, bukan alat statis. Ini berarti menerapkan pemantauan kinerja terus-menerus, menetapkan ambang batas akurasi yang dapat diterima, dan mendefinisikan kepemilikan untuk pelatihan ulang dan validasi. Tata kelola data juga harus diperkuat, dengan praktik standar untuk kualitas data, interoperabilitas, dan deteksi bias.

Tanpa menghadapi risiko yang terkait dengan kualitas data dan model drift, bahkan kerangka tata kelola AI yang terbaik akan gagal. Untuk sistem AI kesehatan, yang hanya sebaik data yang mendasarinya, mengabaikan lapisan risiko ini menciptakan potensi kegagalan sistemik yang lebih cepat atau lebih lambat.

Lakukan dengan Benar Sebelum Anda Mulai

AI memiliki potensi untuk mengubah kesehatan dengan meningkatkan efisiensi, akurasi, dan hasil pasien. Tapi tanpa kepemilikan yang jelas atas risiko yang ditimbulkannya, potensi itu dapat dengan cepat menjadi liabilitas.

Rumah sakit tidak dapat memperlakukan tata kelola AI sebagai latihan kepatuhan. Ini harus dianggap sebagai prioritas operasional inti: mendefinisikan kepemilikan, membangun pengawasan, dan mengevaluasi terus-menerus. Karena dalam kesehatan, ketika sesuatu salah, konsekuensinya dapat jauh lebih buruk daripada siapa yang salah.