Kecanduan Otomatisasi: Bagaimana Mengembalikan Manusia ke Dalam Lingkaran

Dalam sebuah peristiwa dramatis, Robotaksi, kendaraan swa-kemudi yang mengangkut penumpang tanpa operator manusia, baru-baru ini diluncurkan di San Francisco. Setelah persidangan publik selama 7 jam yang kontroversial, keputusan itu ditekan oleh Komisi Utilitas Publik California. Meskipun ada protes, ada perasaan tak terhindarkan di udara. California telah secara bertahap melonggarkan pembatasan sejak awal 2022. Aturan baru ini memungkinkan dua perusahaan dengan izin – Waymo milik Alphabet dan Cruise milik GM – untuk mengirimkan taksi-taksi ini ke mana saja dalam kota 7-mil persegi kecuali jalan raya, dan untuk mengenakan biaya kepada penumpang.

Gagasan tentang taksi swa-kemudi cenderung memunculkan dua emosi yang bertentangan: Kegembiraan (“taksi dengan biaya yang jauh lebih rendah!”) dan ketakutan (“apakah mereka akan menabrak saya atau anak-anak saya?”). Oleh karena itu, regulator sering meminta bahwa mobil-mobil tersebut diuji dengan penumpang yang dapat mengintervensi dan mengontrol sistem sebelum kecelakaan terjadi. Sayangnya, memiliki manusia yang waspada, siap untuk mengambil alih sistem secara real-time, mungkin tidak merupakan cara terbaik untuk memastikan keselamatan.

Sebenarnya, dari 18 kematian di AS yang terkait dengan kecelakaan mobil swa-kemudi (hingga Februari tahun ini), semua memiliki beberapa bentuk kontrol manusia, baik di dalam mobil atau secara remote. Ini termasuk salah satu yang paling terkenal, yang terjadi pada malam hari di jalan suburban yang luas di Tempe, Arizona, pada 2018. Sebuah mobil uji Uber swa-kemudi menewaskan seorang wanita berusia 49 tahun bernama Elaine Herzberg, yang sedang berlari dengan sepedanya untuk menyeberangi jalan. Operator manusia di kursi penumpang sedang menunduk, dan mobil tidak memperingatkan mereka sampai kurang dari satu detik sebelum benturan. Mereka mengambil alih setir terlambat. Kecelakaan itu menyebabkan Uber menghentikan pengujian mobil swa-kemudi. Akhirnya, mereka menjual divisi kendaraan otomatis, yang merupakan bagian penting dari strategi bisnis mereka.

Operator tersebut akhirnya masuk penjara karena kecanduan otomatisasi, fenomena yang pertama kali ditemukan pada hari-hari awal pelatihan penerbangan pilot. Kepercayaan diri yang berlebihan adalah dinamika yang sering terjadi dengan sistem AI. Semakin otonom sistem, semakin manusia operator cenderung mempercayainya dan tidak memperhatikan sepenuhnya. Kami menjadi bosan menonton teknologi ini. Ketika kecelakaan sebenarnya akan terjadi, kami tidak mengharapkannya dan kami tidak bereaksi tepat waktu.

Manusia adalah ahli dalam apa yang disebut ahli risiko Ron Dembo sebagai “pemikiran risiko” – cara berpikir yang bahkan mesin pembelajaran paling canggih belum dapat meniru. Ini adalah kemampuan untuk mengenali, ketika jawabannya tidak jelas, bahwa kita harus melambatkan atau berhenti. Pemikiran risiko sangat penting untuk sistem otomatis, dan itu menciptakan dilema. Manusia ingin berada dalam lingkaran, tetapi meletakkan kita dalam kontrol ketika kita begitu bergantung pada sistem otomatis, mungkin sebenarnya membuat hal-hal menjadi lebih buruk.

Bagaimana, maka, pengembang sistem otomatis dapat menyelesaikan dilema ini, sehingga eksperimen seperti yang terjadi di San Francisco berakhir positif? Jawabannya adalah ketekunan ekstra tidak hanya sebelum momen benturan, tetapi pada tahap awal desain dan pengembangan. Semua sistem AI melibatkan risiko ketika mereka dibiarkan tidak terawasi. Mobil swa-kemudi tidak akan bebas dari risiko, bahkan jika mereka terbukti lebih aman, rata-rata, daripada mobil yang dikemudikan manusia.

Kecelakaan Uber menunjukkan apa yang terjadi ketika kita tidak berpikir risiko dengan niat. Untuk melakukan ini, kita perlu gesekan kreatif: membawa banyak perspektif manusia ke dalam permainan jauh sebelum sistem ini dirilis. Dengan kata lain, memikirkan implikasi sistem AI daripada hanya aplikasinya memerlukan perspektif komunitas yang akan langsung terkena dampak teknologi.

Waymo dan Cruise telah membela catatan keselamatan kendaraan mereka, dengan alasan probabilitas statistik. Namun, keputusan ini mengubah San Francisco menjadi eksperimen hidup. Ketika hasilnya dihitung, akan sangat penting untuk mengumpulkan data yang tepat, untuk berbagi keberhasilan dan kegagalan, dan membiarkan komunitas yang terkena dampak bersama dengan spesialis, politisi, dan pengusaha. Dengan kata lain, simpan

semua manusia dalam lingkaran. Jika tidak, kita riskan kecanduan otomatisasi – kemauan untuk mendelegasikan pengambilan keputusan ke sistem AI – pada skala yang sangat besar.

Juliette Powell dan Art Kleiner adalah co-penulis buku baru Dilema AI: 7 Prinsip untuk Teknologi yang Bertanggung Jawab.