Masalah Akuntabilitas yang Difus dalam Kesehatan AI

Dalam kesehatan, AI sekarang tertanam dalam segala sesuatu dari keputusan klinis hingga sumber daya manusia dan keuangan. Namun, banyak organisasi masih kekurangan delegasi manajemen risiko yang diperlukan untuk memastikan alat AI tidak menyebabkan kerusakan. Ketidakadaan pengawasan yang terstruktur berarti keputusan yang terkait dengan AI dibuat tanpa akuntabilitas yang jelas, sehingga organisasi terpapar risiko pelanggaran etika dan peraturan.

Ketika tidak ada yang bertanggung jawab atas keputusan dan tindakan AI, titik buta akan berkembang dengan cepat. Konsekuensi dari sistem AI yang membuat keputusan dengan risiko tinggi tanpa pengawasan sangat banyak dan luas, terutama ketika nyawa manusia dipertaruhkan.

Hari ini, celah pengawasan AI terlihat seperti titik infleksi sebelumnya di mana kurva teknologi meningkat lebih cepat daripada kemampuan perusahaan untuk mengelolanya. Kami telah melewati ini dengan komputasi awan: tim mengadopsi SaaS, IaaS, dan “shadow IT” untuk bergerak lebih cepat, sementara pengawasan tertinggal pada dasar-dasar seperti klasifikasi data, identitas dan pengelolaan akses, pengawasan vendor, logging/monitoring, dan kejelasan tanggung jawab—sehingga akuntabilitas menjadi tersebar di seluruh IT, keamanan, pengadaan, dan bisnis. Kami juga telah melihat ini dengan penggunaan cepat IT dan mobile/BYOD, di mana karyawan membawa perangkat dan aplikasi baru ke lingkungan yang diatur sebelum organisasi memiliki kebijakan yang matang untuk enkripsi, kontrol endpoint, verifikasi aplikasi, dan e-discovery. Dalam setiap kasus, adopsi tersebut rasional dan seringkali menciptakan nilai—tapi ketidakadaan kepemilikan yang jelas, kontrol yang terstandar, dan pengawasan siklus hidup menciptakan kegagalan yang dapat diprediksi. Pelajaran untuk AI sangat jelas: pengawasan tidak dapat menjadi sesuatu yang ditambahkan setelah inovasi; itu harus dibangun seperti infrastruktur kritis lainnya—secara sengaja, dengan hak keputusan yang didefinisikan, pemantauan terus-menerus, dan pengawasan yang dapat ditegakkan.

Masalah dengan Akuntabilitas yang Difus

Penggunaan AI yang cepat telah melampaui pengembangan standar akuntabilitas dan pengawasan, menyebabkan celah “akuntabilitas yang difus” di mana tidak ada entitas tunggal yang bertanggung jawab ketika AI gagal.

Tanggung jawab sudah menjadi isu yang sangat umum di kesehatan, dan AI hanya membawa tantangan baru. Alat AI tidak memiliki identitas hukum yang diakui, sehingga mereka tidak dapat digugat atau diasuransikan, dan tidak dapat membayar kompensasi hukum kepada korban. Dalam proses hukum, kesalahan harus dialihkan ke aktor manusia atau perusahaan, bukan alat.

Peneliti di The Lancet, jurnal penelitian medis terkemuka, baru-baru ini berargumen bahwa “struktur tanggung jawab institusional harus mengalihkan tanggung jawab dari klinisi ke organisasi yang merancang dan menerapkan [alat AI].” Jelas bahwa pertanyaan tentang tanggung jawab tersebut akan bertahan selama beberapa waktu.

Uni Eropa berusaha untuk menangani masalah ini pada skala regional. Blok telah memperkenalkan dua instrumen legislatif utama: Undang-Undang AI, yang mengatur penggunaan AI berdasarkan tingkat risiko dan menekankan pelestarian pengawasan manusia; dan direktif tanggung jawab AI, yang menetapkan aturan baru yang membuat orang lebih mudah untuk mencari kompensasi atas kerusakan yang disebabkan oleh AI.

Namun, peraturan saja tidak akan menyelesaikan masalah. Rumah sakit beroperasi dalam jaringan kompleks vendor, klinisi, administrator, dan tim IT, sehingga ketika sistem AI menghasilkan output yang berbahaya atau bias, tanggung jawab dipindahkan seperti bola antara pemangku kepentingan: vendor mungkin menunjuk kesalahan penggunaan, klinisi mungkin mengatakan desain yang rusak, dan kepemimpinan bisa menyalahkan ketidakjelasan peraturan.

Semua ini berarti akuntabilitas menjadi difus, sehingga rumah sakit rentan terhadap pertempuran hukum besar.

Langkah Praktis untuk Menutup Celah Pengawasan

Kabar baiknya adalah bahwa bahkan tanpa peraturan yang komprehensif, organisasi kesehatan dapat proaktif menutup celah dalam pengawasan AI. Untuk memulai, pemimpin dapat memulai dengan laporan Organisasi Kesehatan Dunia, “Etika & Pengawasan Artificial Intelligence untuk Kesehatan,” yang bertujuan untuk memaksimalkan janji AI sambil meminimalkan risiko.

Langkah-langkah yang diuraikan dalam laporan ini bertujuan untuk melindungi otonomi, mempromosikan kesejahteraan manusia dan keselamatan publik, memastikan transparansi dan keterjelasan, serta memupuk tanggung jawab dan akuntabilitas. Untuk menangani celah pengawasan, mari kita fokus pada dua poin terakhir.

Terapkan pendekatan terpadu untuk pengawasan AI, memastikan bahwa itu diarahkan dari atas oleh dewan atau ahli. Saat ini, banyak organisasi membiarkan departemen individu menggunakan AI di mana mereka melihatnya, sehingga pemimpin tidak dapat menjelaskan bagaimana dan di mana organisasi menggunakan alat-alat ini. Visibilitas sangat penting, jadi pastikan Anda memiliki daftar alat yang digunakan, di mana, dan untuk tujuan apa.

Sangat penting untuk menetapkan garis akuntabilitas yang jelas di seluruh siklus hidup AI. Ini berarti membuat orang atau departemen bertanggung jawab atas segala sesuatu, dari pengadaan dan validasi hingga penerapan, pemantauan, dan respons insiden. Rumah sakit harus meminta vendor untuk memenuhi standar transparansi dan auditabilitas yang ditetapkan, serta memastikan tim internal dilatih untuk memahami kemampuan dan keterbatasan sistem AI.

Akhirnya, pengawasan harus dioperasikan, bukan hanya didokumentasikan. Tanamkan kebijakan ke dalam alur kerja dengan mengintegrasikan penilaian risiko AI ke dalam proses pengadaan, melakukan audit teratur kinerja AI, dan menciptakan mekanisme bagi staf garis depan untuk melaporkan kekhawatiran tanpa gesekan.

Dalam prakteknya, menutup celah pengawasan kurang tentang memperkenalkan prinsip baru dan lebih tentang menerapkan disiplin: standarisasi bagaimana AI memasuki organisasi, tentukan siapa yang memiliki tanggung jawab di setiap tahap, dan pastikan kinerjanya terus dipantau. Tanpa disiplin tersebut, alat AI akan terus melampaui struktur yang dirancang untuk menjaganya tetap aman.

Risiko Tersembunyi: Kualitas Data

Bahkan ketika struktur akuntabilitas ada, risiko lain sering kali diremehkan: integritas data yang memasuki sistem AI dan bagaimana sistem tersebut berkembang seiring waktu. Setiap sistem AI hanya seandalam data yang dilatih dan terus dipelajari, dan lingkungan data rumah sakit terkenal karena fragmentasi, inkonsistensi, dan celah.

Rekam medis elektronik, sistem pencitraan, dan platform administratif sering beroperasi dalam silo, menciptakan inkonsistensi yang dapat langsung mempengaruhi output AI. Model yang dilatih pada dataset yang tidak lengkap atau bias dapat menghasilkan rekomendasi yang rusak yang mungkin tidak terdeteksi sampai kerusakan sudah terjadi. Ini sangat berbahaya dalam pengaturan klinis, di mana deviasi kecil dalam akurasi dapat diterjemahkan menjadi konsekuensi signifikan bagi pasien.

Mengompensasi masalah ini adalah “model drift“: kecenderungan model AI untuk menyimpang dari instruksi dan konteks ketika lebih banyak data memasuki sistem. Ketika populasi pasien berkembang, protokol pengobatan baru diperkenalkan, dan faktor eksternal mempengaruhi operasi, asumsi dasar alat AI dapat bergeser. Tanpa pemantauan dan kalibrasi terus-menerus, sistem AI yang pernah berkinerja dengan baik mungkin mulai mengambil tindakan atau menyarankan solusi yang menyimpang dari pelatihan.

Untuk menangani model drift, rumah sakit harus memperlakukan sistem AI sebagai aset dinamis dengan risiko tinggi, bukan alat statis. Ini berarti menerapkan pemantauan kinerja terus-menerus, menetapkan ambang batas akurasi yang dapat diterima, dan menentukan kepemilikan untuk pelatihan ulang dan validasi. Pengawasan data juga harus diperkuat, dengan praktik terstandar untuk kualitas data, interoperabilitas, dan deteksi bias.

Tanpa menghadapi risiko yang terkait dengan kualitas data dan model drift, bahkan kerangka pengawasan AI yang terbaik akan gagal. Untuk sistem AI kesehatan, yang hanya sebaik data yang mendasarinya, mengabaikan lapisan risiko ini menciptakan potensi kegagalan sistemik yang lebih cepat atau lebih lambat.

Lakukan dengan Benar Sebelum Anda Mulai

AI memiliki potensi untuk mengubah kesehatan dengan meningkatkan efisiensi, akurasi, dan hasil pasien. Namun, tanpa kepemilikan yang jelas atas risiko yang ditimbulkan, potensi tersebut dapat dengan cepat menjadi liabilitas.

Rumah sakit tidak dapat memperlakukan pengawasan AI sebagai latihan kepatuhan. Ini harus dianggap sebagai prioritas operasional inti: tentukan kepemilikan, struktur pengawasan, dan evaluasi terus-menerus. Karena dalam kesehatan, ketika sesuatu salah, konsekuensinya dapat jauh lebih buruk daripada siapa yang salah.