Pemimpin pemikiran

Sensasi Kiamat AI dan Kafe Bernuansa AI: Pertanyaan Tata Kelola yang Tak Bisa Kita Abaikan

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Apakah kita akan celaka? Apakah AI memiliki kesadaran? Dan mengapa perusahaan AI membuka kafe?

Pertanyaan-pertanyaan ini begitu kuat, meresahkan, dan—terutama soal kesadaran—sungguh sulit dijawab. Pertanyaan-pertanyaan itu juga punya kecenderungan membawa kita pada bagian kisah AI yang paling spekulatif atau paling menggugah emosi. Sementara itu, pertanyaan yang kurang dramatis sudah memengaruhi kehidupan banyak orang: Siapa yang bertanggung jawab ketika sistem AI menyebabkan kerugian? Data dan tenaga kerja apa yang memungkinkan sistem itu dibuat? Keputusan apa saja yang boleh dipengaruhinya? Dan siapa yang berhak menyuarakan pendapat?

Saya tidak serta-merta beranggapan bahwa siapa pun yang mengangkat risiko eksistensial, membahas kesadaran mesin, atau membuka kafe melakukannya untuk menghindari pertanyaan-pertanyaan tersebut. Masing-masing topik layak mendapat perhatian tersendiri. Namun, waktu dan perhatian kita terbatas. Ketika sebuah kisah dramatis menjadi sorotan, kita patut bertanya apa lagi yang luput dari perhatian.

Daya Tarik AI yang Bisa Dirasakan

Industri AI mulai menghadirkan produk-produknya yang sebagian besar tak berwujud di tempat-tempat fisik. “Zero Slop Zone” milik Anthropic di New York mengundang pengunjung untuk bersantai sejenak sambil menikmati kopi, membaca buku, serta menggunakan pena dan kertas; Perplexity membuka Cafe Curious, sebuah kafe di Seoul yang menjadikan AI perusahaan itu bagian dari pengalaman pengunjung. Liputan tentang gerai sementara Anthropic dan kafe Perplexity di Seoul mengulas dua upaya berbeda untuk menghadirkan teknologi abstrak ke dalam suasana sosial sehari-hari.

Hal itu cukup masuk akal. Kebanyakan orang tidak dapat melihat model bahasa, memeriksa infrastruktur di baliknya, atau dengan mudah membayangkan apa yang terjadi antara sebuah perintah dan jawaban. Kafe menawarkan semacam perwujudan fisik: sebuah ruangan, secangkir minuman, sebuah percakapan. Kafe dapat membuat perusahaan dan teknologinya lebih mudah dijumpai—dan mungkin lebih mudah dipahami.

Ada lapisan lain juga. Ruang fisik membuat perusahaan terlihat di tengah masyarakat. Setidaknya, keberadaannya menyampaikan, “kami ada di sini, di tempat ini, untuk saat ini.” Hal itu mungkin terasa menenteramkan di tengah dunia yang produk, kebijakan, dan harapannya berubah dengan cepat. Namun, terlihat bukan berarti bertanggung jawab. Ruang yang ramah dapat membuat teknologi terasa lebih akrab tanpa memberi tahu kita bagaimana teknologi itu dilatih, dalam hal apa teknologi itu dapat diandalkan, atau upaya apa yang bisa ditempuh seseorang ketika teknologi itu membuat kesalahan serius.

Perbedaan itu mengingatkan saya pada gagasan yang telah saya renungkan selama bertahun-tahun: pengalaman digital tidak pernah sepenuhnya hanya digital. Pengalaman itu hadir dalam kehidupan orang-orang melalui tempat, hubungan, dan lembaga. Pertanyaan desainnya bukan sekadar bagaimana membuat sistem AI terasa mudah didekati. Pertanyaannya adalah apakah pengalaman tersebut membantu orang memahami keterbatasan sistem dan mempertahankan kendali yang bermakna.

Perdebatan tentang Kesadaran—dan Orang-Orang yang Sudah Terdampak

Perbedaan yang sama juga penting dalam perdebatan tentang kesadaran AI. Ada perbedaan pendapat yang nyata mengenai kemungkinan mesin memiliki kesadaran, bukti seperti apa yang dapat dianggap memadai, dan bagaimana ketidakpastian seharusnya memengaruhi tanggung jawab kita. Argumen Anil Seth di Noema menyatakan bahwa kecerdasan dan kesadaran tidak seharusnya dianggap sama; laporan terbaru di The Guardian juga menjelaskan mengapa pertanyaan ini belum terjawab. Perdebatan ini tidak memiliki jawaban yang mudah.

Namun, ketidakpastian tentang kehidupan batin mesin tidak membuat pertanyaan tentang dampaknya terhadap manusia saat ini menjadi tidak pasti. Tanggung jawab tidak baru dimulai setelah kita mencapai kesepakatan tentang apa itu kesadaran. Tanggung jawab bermula ketika organisasi membangun, menerapkan, dan meraup keuntungan dari sistem yang berdampak pada manusia.

Pertimbangkan pertanyaan-pertanyaan yang bisa kita selidiki sekarang. Informasi apa yang digunakan untuk melatih suatu sistem, dan dalam kondisi seperti apa? Siapa yang menyiapkan dan memeriksa hasilnya? Bagaimana kinerjanya pada kelompok-kelompok yang berbeda? Apa yang terjadi ketika sistem digunakan dalam layanan kesehatan, perekrutan, pendidikan, atau layanan publik? Dapatkah seseorang menggugat rekomendasi otomatis, berbicara dengan pengambil keputusan manusia, dan memperoleh penjelasan yang berarti?

Kekhawatiran ini bukan sekadar dugaan. Sebuah tinjauan tentang bias dalam AI medis menjelaskan bagaimana data yang bias dan pilihan desain dapat turut menghasilkan keputusan klinis yang tidak adil. Sementara itu, penelitian tentang AI dan ketenagakerjaan masih terus berkembang: analisis pasar tenaga kerja Anthropic menawarkan salah satu cara untuk mengukur paparan, sedangkan tinjauan Hamilton Project mengingatkan bahwa bukti tentang dampak luas terhadap pasar tenaga kerja masih belum lengkap. Sumber-sumber tersebut mengarah pada kesimpulan yang berbeda tentang apa yang dapat kita simpulkan saat ini, tetapi sama-sama menegaskan perlunya mengukur dampak, bukan mengganti bukti dengan kisah-kisah yang disampaikan dengan penuh keyakinan.

Ada risiko terkait lainnya dalam cara kita membicarakan sistem. Nama, suara, dan gaya percakapan yang menyerupai manusia dapat membuat AI terasa lebih seperti seseorang daripada sebuah produk. Hal itu dapat memengaruhi kepercayaan dan kecenderungan orang untuk menerima begitu saja jawabannya. Wajar untuk mempertanyakan apakah pembicaraan tentang kesadaran atau desain antropomorfis dapat mengalihkan perhatian dari organisasi yang menetapkan tujuan dan batasan sistem. Sebuah analisis di MIT Technology Review berpendapat bahwa narasi tentang kesadaran dapat mengaburkan persoalan tanggung jawab perusahaan. Itu adalah argumen tentang dampak pembingkaian—bukan bukti bahwa setiap orang yang mengangkat pertanyaan tersebut memiliki motif tersembunyi.

Kiamat Bukanlah Rencana Tata Kelola

Risiko eksistensial patut mendapat perhatian serius. Kemungkinan terjadinya bencana tidak menjadi kurang penting hanya karena ada bahaya yang lebih dekat, dan bahaya yang lebih dekat juga tidak menjadi kurang penting karena adanya kemungkinan bencana. Kita tidak harus memilih satu rentang waktu dan mengabaikan yang lain.

Namun, ketika “Apakah kita akan binasa?” menjadi satu-satunya topik pembicaraan, risiko jangka panjang kembali mengesampingkan bahaya yang kita hadapi saat ini. Gagasan tentang kebinasaan bisa terdengar seperti kesimpulan, bukan ajakan untuk bertindak: jika hasilnya sudah pasti, mengapa repot-repot berupaya keras mengubahnya? Sebuah laporan New Yorker tentang kursus mengenai risiko eksistensial mengisahkan pertanyaan seorang mahasiswa tentang “membangun katedral”: mengapa berkomitmen membangun sesuatu yang mungkin bertahan lebih lama daripada diri kita jika kita percaya dunia bisa kiamat? Jawabannya bukan bahwa risiko-risiko itu lenyap. Melainkan, ketidakpastian tidak menghapus kemampuan kita—atau tanggung jawab kita—untuk menentukan apa yang penting selanjutnya dan turut membentuk apa yang terjadi kemudian.

Itulah yang saya maksud dengan filosofi “optimisme strategis”. Ini bukan sikap naif yang berkata, “semuanya akan baik-baik saja,” dan bukan pula penolakan untuk mencermati bukti. Filosofi ini berarti mengakui risiko nyata, berupaya menguranginya, dan pada saat yang sama, mencurahkan upaya sungguh-sungguh untuk mewujudkan masa depan yang layak dituju. Harapan bukanlah lawan dari ketelitian. Harapan bisa menjaga agar ketelitian tetap terhubung dengan tindakan.

Pertanyaan Tata Kelola di Balik Tontonan

Baik ketika sebuah organisasi membeli perangkat AI, membangunnya sendiri, maupun menetapkan kebijakan terkait penggunaannya, pertanyaan praktisnya tidak semenarik kafe atau klaim tentang kesadaran—tetapi lebih berguna:

  • Tujuan: Masalah apa yang hendak diselesaikan oleh sistem ini, dan apakah AI merupakan alat yang tepat untuk itu?
  • Bukti: Bagaimana sistem ini diuji, termasuk untuk pengguna yang beragam dan kasus yang kurang umum?
  • Batasan: Keputusan apa yang harus tetap dibuat oleh manusia, dan apa yang tidak dapat dilakukan sistem ini?
  • Akuntabilitas: Siapa yang bertanggung jawab ketika sistem gagal, dan bagaimana orang yang terdampak dapat mengajukan keberatan?
  • Transparansi: Dapatkah orang memahami kapan AI digunakan dan informasi apa yang membentuk keluarannya?
  • Pengawasan berkelanjutan: Siapa yang memantau kinerja, perubahan data, dan dampak yang tidak diinginkan setelah sistem diluncurkan?

Kerangka kerja seperti Kerangka Kerja Manajemen Risiko AI NIST memberi organisasi pendekatan terstruktur untuk mengidentifikasi dan mengelola risiko sepanjang siklus hidup sistem AI. Tidak ada kerangka kerja yang dapat menggantikan penilaian atau perdebatan publik, tetapi tata kelola menjadi lebih konkret ketika tanggung jawab, pengujian, dan jalur untuk memperoleh pemulihan dinyatakan secara jelas.

Ada pula aspek fisik yang perlu diatur. AI bergantung pada pusat data, listrik, air, lahan, dan pembiayaan—bukan hanya antarmuka. Pemberitaan tentang struktur pembiayaan sebuah proyek pusat data besar memunculkan pertanyaan tentang bagaimana risiko infrastruktur diungkapkan dan siapa yang pada akhirnya menanggungnya. Kafe mungkin membantu orang mengenal AI, tetapi dengan sendirinya tidak dapat membuat infrastruktur di balik AI mudah dipahami.

Jadi, nikmatilah kafenya. Ajukan pertanyaan besar tentang kesadaran. Tanggapi risiko bencana dengan serius. Lalu, kembali ke keputusan yang dapat kita cermati dan pengaruhi sekarang: apa yang dibangun, siapa yang mendapat manfaat, siapa yang menanggung biayanya, dan perlindungan apa yang tersedia jika terjadi kesalahan.

Masa depan bukanlah vonis yang dijatuhkan oleh sebuah judul berita. Masa depan adalah serangkaian pilihan—yang dibuat oleh perusahaan, lembaga, pemerintah, dan masyarakat—yang masih dapat dipertanyakan dan diubah. Pertanyaan yang paling berguna bukan hanya apakah kita akan binasa. Pertanyaannya juga, kondisi apa yang akan membuat AI mendukung kesejahteraan manusia, dan apa yang bersedia kita lakukan untuk mewujudkan kondisi tersebut.

Kate O’Neill is a digital innovator, strategist, author, futurist, and globally recognized speaker known as the “Tech Humanist.” As founder and CEO of KO Insights, she advises business and civic leaders on human-centered AI transformation, responsible technology, and the future of work, with a focus on keeping human needs, values, and long-term impact at the center of decision-making. A Thinkers50-ranked management thinker, she participated in United Nations AI Advisory Body meetings and is the author of six books, including *What Matters Next: A Leader’s Guide to Making Human-Friendly Tech Decisions in a World That’s Moving Too Fast* (Wiley), named one of Thinkers50’s Top 10 Best New Management Books of 2025. With more than 25 years of experience in digital innovation, including as one of Netflix’s first 100 employees, Kate has advised organizations such as Google, Microsoft, IBM, and the United Nations, delivered hundreds of keynotes and executive workshops worldwide, and shared her insights through major media outlets including The New York Times, The Wall Street Journal, WIRED, the BBC, and NPR.