Juliette Powell & Art Kleiner, Pengarang The AI Dilemma – Seri Wawancara

The AI Dilemma ditulis oleh Juliette Powell & Art Kleiner.

Juliette Powell adalah seorang penulis, pembuat acara televisi dengan 9.000 acara langsung di bawah tangannya, dan seorang teknolog dan sosiolog. Ia juga merupakan komentator di Bloomberg TV/ Business News Networks dan pembicara di konferensi yang diselenggarakan oleh The Economist dan International Finance Corporation. TED talk-nya memiliki 130K views di YouTube. Juliette mengidentifikasi pola dan praktik pemimpin bisnis yang sukses yang mengandalkan AI dan data etis untuk menang. Ia merupakan dosen di NYU’s ITP di mana ia mengajar empat kursus, termasuk Desain Kemampuan untuk Media Bertanggung Jawab, sebuah kursus yang didasarkan pada bukunya.

Art Kleiner adalah seorang penulis, editor, dan futuris. Buku-bukunya termasuk The Age of Heretics, Who Really Matters, Privilege and Success, dan The Wise. Ia pernah menjadi editor di strategy+business, majalah yang diterbitkan oleh PwC. Art juga merupakan anggota fakultas di NYU-ITP dan IMA, di mana kursusnya termasuk mengajar Teknologi Bertanggung Jawab dan Masa Depan Media.
“The AI Dilemma” adalah sebuah buku yang berfokus pada bahaya teknologi AI di tangan yang salah sementara masih mengakui manfaat AI bagi masyarakat.

Masalah timbul karena teknologi dasar sangat kompleks sehingga menjadi mustahil bagi pengguna akhir untuk benar-benar memahami cara kerja sistem kotak tertutup.

Salah satu masalah paling signifikan yang disoroti adalah bagaimana definisi AI yang bertanggung jawab selalu berubah, karena nilai-nilai sosial sering tidak konsisten dari waktu ke waktu.

Saya sangat menikmati membaca “The AI Dilemma”. Buku ini tidak sensasionalisasi bahaya AI atau membahas secara mendalam tentang potensi bahaya Kecerdasan Umum Buatan (AGI). Sebaliknya, pembaca belajar tentang cara-cara yang mengejutkan data pribadi digunakan tanpa sepengetahuan kita, serta beberapa keterbatasan AI dan alasan untuk khawatir.

Berikut adalah beberapa pertanyaan yang dirancang untuk menunjukkan kepada pembaca apa yang dapat mereka harapkan dari buku yang sangat penting ini.

Apa yang awalnya menginspirasi Anda untuk menulis “The AI Dilemma”?

Juliette pergi ke Columbia sebagian untuk mempelajari batasan dan kemungkinan regulasi AI. Ia telah mendengar langsung dari teman-teman yang bekerja pada proyek AI tentang ketegangan yang inheren dalam proyek-proyek tersebut. Ia sampai pada kesimpulan bahwa ada dilema AI, sebuah masalah yang jauh lebih besar daripada pengaturan diri. Ia mengembangkan model benchmark Apex — sebuah model tentang bagaimana keputusan tentang AI cenderung menuju tanggung jawab yang rendah karena interaksi antara perusahaan dan kelompok dalam perusahaan. Itu memimpin ke disertasinya.

Art telah bekerja dengan Juliette pada beberapa proyek penulisan. Ia membaca disertasinya dan berkata, “Anda memiliki buku di sini.” Juliette mengundangnya untuk menjadi co-penulis. Dalam bekerja sama, mereka menemukan bahwa mereka memiliki perspektif yang sangat berbeda tetapi berbagi pandangan yang kuat bahwa fenomena AI yang kompleks dan berisiko tinggi ini perlu dipahami lebih baik sehingga orang-orang yang menggunakannya dapat bertindak lebih bertanggung jawab dan efektif.

Salah satu masalah fundamental yang disoroti dalam The AI Dilemma adalah bagaimana saat ini mustahil untuk memahami apakah sistem AI bertanggung jawab atau jika itu memperburuk ketidaksetaraan sosial dengan hanya mempelajari kode sumber. Seberapa besar masalah ini?

Masalahnya tidak terutama dengan kode sumber. Seperti yang ditekankan oleh Cathy O’Neil, ketika ada sistem kotak tertutup, itu tidak hanya kode. Ini adalah sistem sosioteknis — kekuatan manusia dan teknologi yang saling membentuk — yang perlu diselidiki. Logika yang membangun dan merilis sistem AI melibatkan mengidentifikasi tujuan, mengidentifikasi data, menetapkan prioritas, membuat model, menetapkan pedoman dan pengaman untuk pembelajaran mesin, dan memutuskan kapan dan bagaimana campur tangan manusia. Itu adalah bagian yang perlu dibuat transparan — setidaknya bagi pengamat dan auditor. Risiko ketidaksetaraan sosial dan risiko lainnya jauh lebih besar ketika bagian-bagian proses ini disembunyikan. Anda tidak bisa benar-benar merekayasa ulang logika desain dari kode sumber.

Dapatkah fokus pada Explainable AI (XAI) pernah menyelesaikan masalah ini?

Bagi insinyur, AI yang dapat dijelaskan saat ini dipikirkan sebagai sekelompok konstrain teknologi dan praktik, yang bertujuan membuat model lebih transparan bagi orang-orang yang bekerja pada mereka. Bagi seseorang yang dituduh secara salah, kemampuan menjelaskan memiliki makna dan urgensi yang berbeda. Mereka membutuhkan kemampuan menjelaskan untuk dapat membela diri. Kami semua membutuhkan kemampuan menjelaskan dalam arti membuat keputusan bisnis atau pemerintah yang mendasari model menjadi jelas. Setidaknya di Amerika Serikat, akan selalu ada ketegangan antara kemampuan menjelaskan — hak asasi manusia untuk mengetahui – dan hak organisasi untuk bersaing dan berinovasi. Auditor dan regulator membutuhkan tingkat kemampuan menjelaskan yang berbeda. Kami membahas ini lebih lanjut dalam The AI Dilemma.

Dapatkah Anda berbagi pandangan tentang pentingnya mempertanggungjawabkan pemangku kepentingan (perusahaan AI) atas kode yang mereka rilis ke dunia?

Jadi, misalnya, dalam tabrakan mobil self-driving di Tempe, AZ yang menewaskan seorang pejalan kaki, operator ditahan bertanggung jawab. Seorang individu pergi ke penjara. Namun, pada akhirnya, itu adalah kegagalan organisasional.

Ketika sebuah jembatan runtuh, insinyur mekanik ditahan bertanggung jawab. Itu karena insinyur mekanik dilatih, terus dilatih ulang, dan ditahan akuntabel oleh profesinya. Insinyur komputer tidak.

Apakah pemangku kepentingan, termasuk perusahaan AI, harus dilatih dan dilatih ulang untuk mengambil keputusan yang lebih baik dan memiliki lebih banyak tanggung jawab?

The AI Dilemma sangat fokus pada bagaimana perusahaan seperti Google (GOOGL ) dan Meta dapat memanen dan memonetisasi data pribadi kita. Dapatkah Anda berbagi contoh penyalahgunaan data yang signifikan yang harus ada di radar semua orang?

Dari The AI Dilemma, halaman 67ff;

Kasus-kasus baru penyalahgunaan data pribadi sistematis terus muncul ke pandangan publik, banyak melibatkan penggunaan facial recognition yang tersembunyi. Pada Desember 2022, MIT Technology Review menerbitkan laporan tentang praktik iRobot yang telah lama ada. Robot rumah tangga Roomba merekam gambar dan video yang diambil di rumah-rumah pengguna beta, yang pada akhirnya berarti mengumpulkan gambar dan video pribadi dan keluarga yang intim. Ini dibagikan, tanpa sepengetahuan pengguna, dengan kelompok di luar negeri. Dalam setidaknya satu kasus, sebuah gambar seseorang di toilet diposting di Facebook (META ). Sementara itu, di Iran, otoritas telah mulai menggunakan data dari sistem pengenalan wajah untuk melacak dan menangkap wanita yang tidak mengenakan hijab.

Tidak perlu memperpanjang cerita-cerita ini lebih lanjut. Ada begitu banyak cerita seperti itu. Yang penting adalah mengidentifikasi efek kumulatif dari hidup dengan cara ini. Kita kehilangan rasa memiliki kontrol atas hidup kita ketika kita merasa bahwa informasi pribadi kita mungkin digunakan melawan kita, kapan saja, tanpa peringatan.

Salah satu konsep berbahaya yang dibawa adalah bagaimana dunia kita dirancang untuk menjadi tanpa gesekan, dengan definisi gesekan sebagai “setiap titik dalam perjalanan pelanggan dengan perusahaan di mana mereka mengenai hambatan yang melambatkan mereka atau menyebabkan ketidakpuasan.” Bagaimana harapan akan pengalaman tanpa gesekan ini secara potensial menyebabkan AI berbahaya?

Di Selandia Baru, bot makanan Pak’n’Save yang cerdas menyarankan resep yang akan menciptakan gas klorin jika digunakan. Ini dipromosikan sebagai cara bagi pelanggan untuk menggunakan sisa makanan dan menghemat uang.

Ketidakgesekan menciptakan ilusi kontrol. Lebih cepat dan lebih mudah untuk mendengarkan aplikasi daripada mencari resep nenek. Orang mengikuti jalur yang paling mudah dan tidak menyadari ke mana itu membawa mereka.

Gesekan, di sisi lain, adalah kreatif. Anda terlibat. Ini menyebabkan kontrol yang sebenarnya. Kontrol yang sebenarnya membutuhkan perhatian dan kerja, dan — dalam kasus AI — melakukan analisis biaya-manfaat yang diperpanjang.

Dengan ilusi kontrol ini, tampaknya kita hidup di dunia di mana sistem AI memicu manusia, bukan manusia yang tetap sepenuhnya mengontrol. Dapatkah Anda memberikan contoh di mana manusia secara kolektif percaya mereka memiliki kontrol, ketika sebenarnya mereka tidak memiliki kontrol?

Saat ini di San Francisco, dengan robotaksi. Gagasan tentang taksi self-driving cenderung memunculkan dua emosi yang bertentangan: kegembiraan (“taksi dengan biaya yang jauh lebih rendah!”) dan ketakutan (“apakah mereka akan menabrak saya?”) Oleh karena itu, banyak regulator menyarankan agar mobil-mobil tersebut diuji dengan orang-orang di dalamnya, yang dapat mengelola kontrol. Sayangnya, memiliki manusia yang siap mengambil alih sistem secara real-time mungkin tidak merupakan tes yang baik untuk keamanan publik. Kepercayaan diri yang berlebihan adalah dinamika yang sering terjadi dengan sistem AI. Semakin otonom sistem, semakin manusia operator cenderung mempercayainya dan tidak memperhatikan sepenuhnya. Kita bosan menonton teknologi ini. Ketika kecelakaan sebenarnya akan terjadi, kita tidak mengharapkannya dan kita sering tidak bereaksi tepat waktu.

Banyak penelitian yang dilakukan untuk buku ini, apakah ada yang mengejutkan Anda?

Satu hal yang benar-benar mengejutkan kami adalah bahwa orang-orang di seluruh dunia tidak bisa sepakat siapa yang harus hidup dan siapa yang harus mati dalam simulasi The Moral Machine dari tabrakan mobil self-driving. Jika kita tidak bisa sepakat tentang itu, maka sulit untuk membayangkan bahwa kita bisa memiliki pemerintahan global yang seragam atau standar universal untuk sistem AI.

Anda berdua menggambarkan diri Anda sebagai wirausaha, bagaimana apa yang Anda pelajari dan laporkan akan mempengaruhi upaya Anda di masa depan?

Praktik Konsultasi AI kami berorientasi pada membantu organisasi tumbuh secara bertanggung jawab dengan teknologi. Pengacara, insinyur, ilmuwan sosial, dan pemikir bisnis adalah semua pemangku kepentingan dalam masa depan AI. Dalam pekerjaan kami, kami membawa semua perspektif ini bersama dan mempraktikkan gesekan kreatif untuk menemukan solusi yang lebih baik. Kami telah mengembangkan kerangka kerja seperti kalkulus risiko yang disengaja untuk membantu menavigasi masalah-masalah ini.

Terima kasih atas jawaban yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi The AI Dilemma.