Kecomplacian Otomatisasi: Bagaimana Mengembalikan Manusia ke Dalam Lingkaran

Dalam sebuah peristiwa dramatis, Robotaksi, kendaraan swa-kemudi yang mengambil penumpang tanpa operator manusia, baru-baru ini diluncurkan di San Francisco. Setelah persidangan publik selama 7 jam yang kontroversial, keputusan itu ditekan oleh Komisi Utilitas Publik California. Meskipun ada protes, ada perasaan ketidakterelakan di udara. California telah secara bertahap melepas pembatasan sejak awal 2022. Aturan baru memungkinkan dua perusahaan dengan izin – Waymo milik Alphabet dan Cruise milik GM – untuk mengirim taksi-taksi ini ke mana saja dalam kota 7-mil persegi kecuali jalan tol, dan untuk mengenakan biaya kepada penumpang.

Ide tentang taksi swa-kemudi cenderung memunculkan dua emosi yang bertentangan: Kegembiraan (“taksi dengan biaya yang jauh lebih rendah!”) dan ketakutan (“apakah mereka akan menabrak saya atau anak-anak saya?”) Oleh karena itu, regulator sering memerlukan bahwa mobil-mobil tersebut diuji dengan penumpang yang dapat mengintervensi dan mengelola kontrol sebelum kecelakaan terjadi. Sayangnya, memiliki manusia yang waspada, siap untuk mengambil alih sistem secara real-time, mungkin tidak merupakan cara terbaik untuk menjamin keselamatan.

Pada kenyataannya, dari 18 kematian di AS yang terkait dengan kecelakaan mobil swa-kemudi (hingga Februari tahun ini), semua memiliki beberapa bentuk kontrol manusia, baik di dalam mobil atau secara remote. Ini termasuk salah satu yang paling terkenal, yang terjadi pada malam hari di jalan suburban yang luas di Tempe, Arizona, pada 2018. Sebuah kendaraan uji Uber swa-kemudi menewaskan seorang wanita berusia 49 tahun bernama Elaine Herzberg, yang sedang berlari dengan sepedanya untuk menyeberang jalan. Operator manusia di kursi penumpang memandang ke bawah, dan mobil tidak memperingatkan mereka sampai kurang dari satu detik sebelum benturan. Mereka mengambil setir terlambat. Kecelakaan itu menyebabkan Uber menghentikan pengujian mobil swa-kemudi. Akhirnya, mereka menjual divisi kendaraan otomatis, yang merupakan bagian kunci dari strategi bisnis mereka.

Operator tersebut berakhir di penjara karena komplacensi otomatisasi, fenomena yang pertama kali ditemukan pada hari-hari awal pelatihan penerbangan pilot. Kepercayaan diri yang berlebihan adalah dinamika yang sering terjadi dengan sistem AI. Semakin otonom sistem, semakin manusia operator percaya dan tidak memperhatikan sepenuhnya. Kami bosan menonton teknologi-teknologi ini. Ketika kecelakaan sebenarnya akan terjadi, kami tidak mengharapkannya dan kami tidak bereaksi tepat waktu.

Manusia adalah ahli alami dalam apa yang disebut ahli risiko Ron Dembo sebagai “pemikiran risiko” – cara berpikir yang bahkan mesin pembelajaran paling canggih belum dapat meniru. Ini adalah kemampuan untuk mengenali, ketika jawabannya tidak jelas, bahwa kita harus melambatkan atau berhenti. Pemikiran risiko sangat penting untuk sistem otomatis, dan itu menciptakan dilema. Manusia ingin berada dalam lingkaran, tetapi meletakkan kita dalam kontrol ketika kita begitu bergantung pada sistem otomatis, mungkin sebenarnya membuat hal-hal menjadi lebih buruk.

Bagaimana, maka, pengembang sistem otomatis dapat menyelesaikan dilema ini, sehingga eksperimen seperti yang sedang berlangsung di San Francisco berakhir positif? Jawabannya adalah ketekunan ekstra tidak hanya sebelum saat benturan, tetapi pada tahap awal desain dan pengembangan. Semua sistem AI melibatkan risiko ketika mereka dibiarkan tidak terkendali. Mobil swa-kemudi tidak akan bebas dari risiko, bahkan jika mereka terbukti lebih aman, rata-rata, daripada mobil yang dikemudikan manusia.

Kecelakaan Uber menunjukkan apa yang terjadi ketika kita tidak berpikir risiko dengan sengaja. Untuk melakukan ini, kita perlu friksi kreatif: membawa banyak perspektif manusia ke dalam permainan jauh sebelum sistem-sistem ini dirilis. Dengan kata lain, memikirkan implikasi sistem AI daripada hanya aplikasi memerlukan perspektif komunitas yang akan langsung terkena dampak teknologi.

Waymo dan Cruise telah membela catatan keselamatan kendaraan mereka, atas dasar probabilitas statistik. Namun, keputusan ini mengubah San Francisco menjadi eksperimen hidup. Ketika hasilnya dihitung, akan sangat penting untuk menangkap data yang tepat, untuk berbagi keberhasilan dan kegagalan, dan membiarkan komunitas yang terkena dampak, bersama dengan spesialis, politisi, dan orang bisnis, untuk memberikan pendapat. Dengan kata lain, simpan semua manusia dalam lingkaran. Jika tidak, kita berisiko komplacensi otomatisasi – kesediaan untuk mendelegasikan pengambilan keputusan ke sistem AI – pada skala yang sangat besar.

Juliette Powell dan Art Kleiner adalah co-penulis buku baru The AI Dilemma: 7 Principles for Responsible Technology.