Siapa yang Bertanggung Jawab Jika AI Kesehatan Gagal?

Siapa yang bertanggung jawab ketika kesalahan AI dalam kesehatan menyebabkan kecelakaan, cedera, atau bahkan kematian? Tergantung pada situasi, itu bisa jadi pengembang AI, tenaga kesehatan, atau bahkan pasien. Tanggung jawab adalah kekhawatiran yang semakin kompleks dan serius karena AI menjadi lebih umum dalam kesehatan. Siapa yang bertanggung jawab atas AI yang salah dan bagaimana kecelakaan dapat dicegah?

Risiko Kesalahan AI dalam Kesehatan

Ada banyak manfaat luar biasa dari AI dalam kesehatan, dari presisi dan akurasi yang meningkat hingga waktu pemulihan yang lebih cepat. AI membantu dokter membuat diagnosis, melakukan operasi, dan memberikan perawatan terbaik bagi pasien mereka. Sayangnya, kesalahan AI selalu memungkinkan.

Ada berbagai skenario AI yang salah dalam kesehatan. Dokter dan pasien dapat menggunakan AI sebagai alat pengambilan keputusan berbasis perangkat lunak atau AI dapat menjadi otak perangkat fisik seperti robot. Kedua kategori memiliki risikonya masing-masing.

Misalnya, apa yang terjadi jika robot bedah yang dipowered AI mengalami kerusakan selama prosedur? Ini bisa menyebabkan cedera parah atau bahkan kematian pasien. Serupa, apa yang terjadi jika algoritma diagnosis obat merekomendasikan obat yang salah untuk pasien dan mereka mengalami efek sampingan negatif? Bahkan jika obat tidak menyakiti pasien, diagnosis yang salah bisa menunda perawatan yang tepat.

Pada intinya, kesalahan AI seperti ini adalah sifat model AI itu sendiri. Sebagian besar AI saat ini menggunakan logika “black box”, yang berarti tidak ada yang bisa melihat bagaimana algoritma membuat keputusan. Black box AI kekurangan transparansi, mengarah ke risiko seperti bias logika, diskriminasi, dan hasil yang tidak akurat. Sayangnya, sulit untuk mendeteksi faktor risiko ini sampai mereka sudah menyebabkan masalah.

AI yang Salah: Siapa yang Bersalah?

Apa yang terjadi ketika kecelakaan terjadi dalam prosedur medis yang dipowered AI? Kemungkinan AI yang salah akan selalu ada sampai tingkat tertentu. Jika seseorang terluka atau bahkan lebih parah, apakah AI yang bersalah? Tidak selalu.

Ketika Pengembang AI Bersalah

Penting untuk diingat bahwa AI tidak lebih dari program komputer. Ini adalah program komputer yang sangat maju, tetapi masih kode, seperti perangkat lunak lainnya. Karena AI tidak memiliki kesadaran atau kemandirian seperti manusia, AI tidak dapat dimintai pertanggungjawaban atas kecelakaan. AI tidak bisa pergi ke pengadilan atau dihukum.

Kesalahan AI dalam kesehatan kemungkinan besar akan menjadi tanggung jawab pengembang AI atau tenaga kesehatan yang memantau prosedur. Yang mana pihak yang bersalah untuk kecelakaan bisa bervariasi dari kasus ke kasus.

Misalnya, pengembang kemungkinan besar akan bersalah jika bias data menyebabkan AI memberikan keputusan yang tidak adil, tidak akurat, atau diskriminatif. Pengembang bertanggung jawab untuk memastikan AI berfungsi seperti yang dijanjikan dan memberikan perawatan terbaik bagi semua pasien. Jika AI mengalami kerusakan karena kelalaian, pengawasan, atau kesalahan dari pihak pengembang, dokter tidak akan bertanggung jawab.

Ketika Dokter atau Fisik Bersalah

Namun, masih memungkinkan bahwa dokter atau bahkan pasien bisa bertanggung jawab atas AI yang salah. Misalnya, pengembang mungkin melakukan semuanya dengan benar, memberikan dokter instruksi yang lengkap, dan menguraikan semua risiko yang mungkin terjadi. Ketika prosedur dilakukan, dokter mungkin terganggu, lelah, lupa, atau bahkan lalai.

Survei menunjukkan lebih dari 40% dokter mengalami kelelahan di tempat kerja, yang dapat menyebabkan kurangnya perhatian, refleks lambat, dan ingatan yang buruk. Jika dokter tidak mengatasi kebutuhan fisik dan psikologis mereka dan kondisi mereka menyebabkan kecelakaan, itu adalah kesalahan dokter.

Tergantung pada keadaan, pemberi kerja dokter mungkin akan disalahkan atas kesalahan AI dalam kesehatan. Misalnya, apa yang terjadi jika seorang manajer di rumah sakit mengancam untuk menolak promosi dokter jika mereka tidak setuju untuk bekerja lembur? Ini memaksa mereka untuk bekerja terlalu keras, menyebabkan kelelahan. Dalam situasi unik seperti ini, pemberi kerja dokter kemungkinan besar akan bertanggung jawab.

Ketika Pasien Bersalah

Apa yang terjadi jika baik pengembang AI maupun dokter melakukan semuanya dengan benar? Ketika pasien secara mandiri menggunakan alat AI, kecelakaan bisa menjadi kesalahan pasien. AI yang salah tidak selalu disebabkan oleh kesalahan teknis. Ini bisa merupakan hasil dari penggunaan yang buruk atau tidak tepat.

Misalnya, mungkin dokter menjelaskan alat AI kepada pasien mereka dengan baik, tetapi pasien mengabaikan instruksi keselamatan atau memasukkan data yang tidak benar. Jika penggunaan yang ceroboh atau tidak tepat ini menghasilkan kecelakaan, itu adalah kesalahan pasien. Dalam kasus ini, mereka bertanggung jawab untuk menggunakan AI dengan benar atau memberikan data yang akurat dan mengabaikan untuk melakukannya.

Bahkan ketika pasien mengetahui kebutuhan medis mereka, mereka mungkin tidak mengikuti instruksi dokter karena berbagai alasan. Misalnya, 24% orang Amerika yang mengonsumsi obat resep melaporkan bahwa mereka mengalami kesulitan membayar obat-obatan mereka. Seorang pasien mungkin melewatkan obat atau berbohong kepada AI tentang mengonsumsi obat karena mereka malu tidak bisa membayar resep mereka.

Jika penggunaan yang tidak tepat pasien disebabkan oleh kurangnya bimbingan dari dokter atau pengembang AI, kesalahan bisa berada di tempat lain. Ini pada akhirnya tergantung pada di mana akar kecelakaan atau kesalahan terjadi.

Regulasi dan Solusi Potensial

Apakah ada cara untuk mencegah kesalahan AI dalam kesehatan? Sementara tidak ada prosedur medis yang benar-benar bebas risiko, ada cara untuk meminimalkan kemungkinan hasil yang tidak diinginkan.

Regulasi tentang penggunaan AI dalam kesehatan dapat melindungi pasien dari alat dan prosedur yang dipowered AI yang berisiko tinggi. FDA sudah memiliki kerangka regulasi untuk perangkat medis AI, yang menguraikan persyaratan pengujian dan keamanan serta proses tinjauan. Organisasi pengawasan medis terkemuka mungkin juga campur tangan untuk mengatur penggunaan data pasien dengan algoritma AI dalam beberapa tahun mendatang.

Selain regulasi yang ketat, masuk akal, dan menyeluruh, pengembang harus mengambil langkah-langkah untuk mencegah skenario AI yang salah. AI yang dapat dijelaskan — juga dikenal sebagai white box AI — mungkin dapat menyelesaikan kekhawatiran transparansi dan bias data. Model AI yang dapat dijelaskan adalah algoritma yang memungkinkan pengembang dan pengguna untuk mengakses logika model.

Ketika pengembang AI, dokter, dan pasien dapat melihat bagaimana AI mengambil keputusan, jauh lebih mudah untuk mengidentifikasi bias data. Dokter juga dapat menangkap ketidakakuratan faktual atau informasi yang hilang lebih cepat. Dengan menggunakan AI yang dapat dijelaskan daripada AI black box, pengembang dan penyedia kesehatan dapat meningkatkan kepercayaan dan efektivitas AI medis.

AI Kesehatan yang Aman dan Efektif

Kecerdasan buatan dapat melakukan hal-hal luar biasa dalam bidang medis, bahkan mungkin menyelamatkan nyawa. Selalu akan ada ketidakpastian yang terkait dengan AI, tetapi pengembang dan organisasi kesehatan dapat mengambil tindakan untuk meminimalkan risiko tersebut. Ketika kesalahan AI dalam kesehatan terjadi, konselor hukum kemungkinan besar akan menentukan tanggung jawab berdasarkan kesalahan akar kecelakaan.