Siapa yang Bertanggung Jawab Jika AI Kesehatan Gagal?

Siapa yang bertanggung jawab ketika kesalahan AI dalam kesehatan menyebabkan kecelakaan, cedera, atau bahkan kematian? Tergantung pada situasi, itu bisa jadi pengembang AI, profesional kesehatan, atau bahkan pasien. Tanggung jawab adalah masalah yang semakin kompleks dan serius karena AI menjadi lebih umum dalam kesehatan. Siapa yang bertanggung jawab atas AI yang salah dan bagaimana kecelakaan dapat dicegah?

Risiko Kesalahan AI dalam Kesehatan

Ada banyak manfaat luar biasa dari AI dalam kesehatan, dari presisi dan akurasi yang meningkat hingga waktu pemulihan yang lebih cepat. AI membantu dokter membuat diagnosis, melakukan operasi, dan memberikan perawatan terbaik bagi pasien. Sayangnya, kesalahan AI selalu memungkinkan.

Ada berbagai skenario AI yang salah dalam kesehatan. Dokter dan pasien dapat menggunakan AI sebagai alat pengambilan keputusan berbasis perangkat lunak atau AI dapat menjadi otak dari perangkat fisik seperti robot. Keduanya memiliki risiko.

Misalnya, apa yang terjadi jika robot bedah yang ditenagai AI mengalami kegagalan selama prosedur? Ini bisa menyebabkan cedera parah atau bahkan kematian pasien. Serupa, apa yang terjadi jika algoritma diagnosis obat merekomendasikan obat yang salah untuk pasien dan mereka mengalami efek sampingan negatif? Bahkan jika obat tidak menyakiti pasien, diagnosis yang salah bisa menunda perawatan yang tepat.

Pada intinya, kesalahan AI seperti ini adalah sifat model AI itu sendiri. Sebagian besar AI saat ini menggunakan logika “black box”, yang berarti tidak ada yang bisa melihat bagaimana algoritma membuat keputusan. Black box AI kekurangan transparansi, yang menyebabkan risiko seperti bias logika, diskriminasi, dan hasil yang tidak akurat. Sayangnya, sulit untuk mendeteksi faktor risiko ini sampai mereka sudah menyebabkan masalah.

AI yang Salah: Siapa yang Bertanggung Jawab?

Apa yang terjadi ketika kecelakaan terjadi dalam prosedur medis yang ditenagai AI? Kemungkinan AI yang salah akan selalu ada dalam kartu sampai tingkat tertentu. Jika seseorang terluka atau lebih parah, apakah AI yang salah? Tidak selalu.

Ketika Pengembang AI Bertanggung Jawab

Penting untuk diingat bahwa AI tidak lebih dari program komputer. Ini adalah program komputer yang sangat maju, tetapi masih kode, seperti perangkat lunak lainnya. Karena AI tidak memiliki kesadaran atau kemandirian seperti manusia, AI tidak bisa dituntut atas kecelakaan. AI tidak bisa pergi ke pengadilan atau dihukum.

Kesalahan AI dalam kesehatan kemungkinan besar akan menjadi tanggung jawab pengembang AI atau profesional kesehatan yang memantau prosedur. Pihak yang bertanggung jawab atas kecelakaan bisa bervariasi dari kasus ke kasus.

Misalnya, pengembang kemungkinan besar akan bertanggung jawab jika bias data menyebabkan AI memberikan keputusan yang tidak adil, tidak akurat, atau diskriminatif. Pengembang bertanggung jawab untuk memastikan AI berfungsi seperti yang dijanjikan dan memberikan perawatan terbaik bagi semua pasien. Jika AI mengalami kegagalan karena kelalaian, pengawasan, atau kesalahan pengembang, dokter tidak akan bertanggung jawab.

Ketika Dokter atau Fisik yang Bertanggung Jawab

Namun, masih memungkinkan bahwa dokter atau bahkan pasien bisa bertanggung jawab atas AI yang salah. Misalnya, pengembang mungkin melakukan semua yang benar, memberikan dokter instruksi yang menyeluruh, dan menguraikan semua risiko yang mungkin terjadi. Ketika prosedur dilakukan, dokter mungkin terganggu, lelah, lupa, atau hanya lalai.

Survei menunjukkan lebih dari 40% dokter mengalami kelelahan di tempat kerja, yang dapat menyebabkan ketidakperhatian, refleks lambat, dan pengingatan yang buruk. Jika dokter tidak mengatasi kebutuhan fisik dan psikologis mereka sendiri dan kondisi mereka menyebabkan kecelakaan, itu adalah kesalahan dokter.

Tergantung pada keadaan, pemberi kerja dokter mungkin akan disalahkan atas kesalahan AI dalam kesehatan. Misalnya, apa yang terjadi jika manajer di rumah sakit mengancam untuk menolak promosi dokter jika mereka tidak setuju untuk bekerja lembur? Ini memaksa mereka untuk bekerja berlebihan, menyebabkan kelelahan. Pemberi kerja dokter kemungkinan besar akan bertanggung jawab dalam situasi unik seperti ini.

Ketika Pasien yang Bertanggung Jawab

Apa yang terjadi jika baik pengembang AI maupun dokter melakukan semua yang benar? Ketika pasien menggunakan alat AI secara mandiri, kecelakaan bisa menjadi kesalahan pasien. AI yang salah tidak selalu karena kesalahan teknis. Ini bisa menjadi hasil dari penggunaan yang buruk atau tidak tepat.

Misalnya, mungkin dokter menjelaskan alat AI kepada pasien mereka, tetapi pasien mengabaikan instruksi keamanan atau memasukkan data yang salah. Jika penggunaan yang ceroboh atau tidak tepat ini menyebabkan kecelakaan, itu adalah kesalahan pasien. Dalam hal ini, mereka bertanggung jawab untuk menggunakan AI dengan benar atau memberikan data yang akurat dan mengabaikannya.

Bahkan ketika pasien mengetahui kebutuhan medis mereka, mereka mungkin tidak mengikuti instruksi dokter karena berbagai alasan. Misalnya, 24% orang Amerika yang mengambil obat resep melaporkan bahwa mereka mengalami kesulitan membayar obat-obatan mereka. Pasien mungkin melewatkan obat atau berbohong kepada AI tentang mengambil obat karena mereka malu tidak bisa membayar resep mereka.

Jika penggunaan yang tidak tepat pasien disebabkan oleh kurangnya bimbingan dari dokter atau pengembang AI, kesalahan bisa berada di tempat lain. Pada akhirnya, tergantung pada di mana akar kecelakaan atau kesalahan terjadi.

Regulasi dan Solusi Potensial

Apakah ada cara untuk mencegah kesalahan AI dalam kesehatan? Sementara tidak ada prosedur medis yang benar-benar bebas risiko, ada cara untuk meminimalkan kemungkinan hasil yang tidak diinginkan.

Regulasi tentang penggunaan AI dalam kesehatan dapat melindungi pasien dari alat dan prosedur yang ditenagai AI yang berisiko tinggi. FDA sudah memiliki kerangka regulasi untuk perangkat medis AI, yang menguraikan persyaratan pengujian dan keamanan serta proses tinjauan. Organisasi pengawasan medis terkemuka juga mungkin campur tangan untuk mengatur penggunaan data pasien dengan algoritma AI dalam beberapa tahun mendatang.

Selain regulasi yang ketat, wajar, dan menyeluruh, pengembang harus mengambil langkah untuk mencegah skenario AI yang salah. AI yang dapat dijelaskan — juga dikenal sebagai white box AI — mungkin dapat memecahkan masalah transparansi dan bias data. Model AI yang dapat dijelaskan memungkinkan pengembang dan pengguna untuk mengakses logika model.

Ketika pengembang AI, dokter, dan pasien dapat melihat bagaimana AI membuat kesimpulan, lebih mudah untuk mengidentifikasi bias data. Dokter juga dapat menangkap ketidakakuratan faktual atau informasi yang hilang lebih cepat. Dengan menggunakan AI yang dapat dijelaskan daripada AI black box, pengembang dan penyedia kesehatan dapat meningkatkan kepercayaan dan efektivitas AI medis.

AI Kesehatan yang Aman dan Efektif

Kecerdasan buatan dapat melakukan hal-hal luar biasa dalam bidang kesehatan, bahkan menyelamatkan nyawa. Selalu ada ketidakpastian yang terkait dengan AI, tetapi pengembang dan organisasi kesehatan dapat mengambil tindakan untuk meminimalkan risiko tersebut. Ketika kesalahan AI dalam kesehatan terjadi, konselor hukum kemungkinan besar akan menentukan tanggung jawab berdasarkan kesalahan akar kecelakaan.