AI Makin Cerdas; Menjaga Koherensi Makin Sulit

Sepanjang karier, saya berusaha memahami kecerdasan. Saya mempelajari ilmu saraf karena tertarik pada AI dan berpikir bahwa mempelajari cara kerja otak terlebih dahulu adalah langkah awal yang baik. Kecerdasan lebih dulu, sebelum kecerdasan “buatan”. Pendidikan itu membentuk kebiasaan dalam diri saya. Saat kemampuan atau teknologi baru muncul, pertanyaan pertama saya bersifat praktis: Apa yang sebenarnya bisa dilakukannya, dan untuk jenis masalah dunia nyata apa?

Sebagai orang yang berkecimpung di bidang AI, saya jarang ikut meramaikan berita utama tentang AI. Saya melihat melampaui hiruk-pikuk untuk memahami bukan hanya terobosan yang ada, melainkan juga batas kemampuan baru tersebut.

Dari Alat Biasa ke Keandalan yang Dipertaruhkan

Pada 2020, ketika perbincangan tentang keselamatan AI sedang ramai dan dibumbui banyak sensasi, saya menyampaikan saran sederhana. Perlakukan AI sebagai alat—alat yang ampuh, tetapi tetap saja alat. Tetaplah berpegang pada penggunaan yang tidak rumit. Kerjakan tugas-tugas yang teknologinya sudah cukup andal untuk membantu. Skenario optimistis saya adalah hadirnya alat-alat yang sederhana, tetapi berguna.

Ketika gelombang sistem agen mulai menguat beberapa tahun kemudian, saya menggunakan sudut pandang yang sama dan tetap tidak yakin. Kekuatan sistem agen hanya sebaik tugas-tugas yang mendasarinya, dan saat itu saya belum melihat keandalan pada tingkat tugas yang dibutuhkan agar sistem-sistem ini efektif.

Namun, sensasinya kian berkembang. Saat saya menghadiri RSA pada awal tahun lalu, kesenjangan antara omongan dan substansi masih sulit diabaikan. Bahkan, belum ada pemahaman bersama tentang arti “berbasis agen”; setiap orang memiliki definisi dan sudut pandang yang berbeda. Saya juga mencemaskan sesuatu yang bersifat struktural. Bayangkan sepuluh agen, yang masing-masing akurasinya sekitar 95%. Rangkailah semuanya sehingga keluaran satu agen menjadi masukan bagi agen berikutnya. Di ujung rangkaian itu, akurasinya tinggal sekitar 60%. Keandalan tidak bertahan saat ditumpuk. Saat itu, saya mulai memikirkan sistem yang terdiri atas banyak agen, meskipun kekhawatiran saya masih berkisar pada apakah agen-agen itu dapat dipercaya untuk bekerja dan membawa perubahan yang berarti.

Kemudian, peningkatan pesat pada agen pemrograman mengubah pandangan saya.

Dalam beberapa bulan setelah artikel saya tentang topik ini, laju kemajuan yang luar biasa membuat satu hal menjadi jelas bagi saya: hanya tinggal menunggu waktu sampai beberapa tugas dunia nyata dapat dikerjakan dengan andal. Model yang lebih baik, dengan perangkat rekayasa yang lebih baik di sekelilingnya, akan menutup kesenjangan yang saya khawatirkan. Batas atas yang menjadi kekhawatiran saya akan terangkat.

Saat itulah masalah sebenarnya mulai terlihat, dan masalah itu bukan yang selama ini saya amati. Begitu Anda dapat memercayai masing-masing agen, Anda tidak berhenti setelah menerapkan agen pertama. Anda menerapkan banyak agen. Sekumpulan besar agen, di setiap fungsi, masing-masing mampu dan menjalankan tugasnya. Lalu muncul pertanyaan baru yang sama sekali tidak berkaitan dengan keandalan: Jika setiap agen dalam kumpulan itu melakukan apa yang dirancang untuk dilakukannya, apakah secara keseluruhan kumpulan tersebut tetap mewujudkan apa yang diinginkan organisasi?

Kebutuhan akan Propriosepsi Organisasi

Tubuh dengan anggota gerak yang mampu tidak dapat bergerak dengan baik tanpa propriosepsi, yakni kesadaran batin yang terus-menerus tentang posisi setiap bagian tubuh dan apa yang sedang dilakukannya. Otak kecil tidak sekadar merespons umpan balik itu, tetapi juga membuat prediksi. Saat otak mengirimkan perintah gerak, otak membentuk perkiraan tentang sensasi yang seharusnya dihasilkan oleh gerakan tersebut, lalu membandingkan perkiraan itu dengan apa yang benar-benar terjadi. Selisih antara keduanya menjadi sinyal untuk memperbaiki gerakan berikutnya. Gerakan terampil merupakan rangkaian prediksi hasil dan koreksi atas perbedaannya.

Organisasi yang mengoperasikan banyak agen membutuhkan kesadaran yang sama tentang dirinya sendiri. Organisasi itu harus terus mengetahui posisi sistem-sistemnya dan sejauh mana sistem tersebut menyimpang dari keadaan yang seharusnya. Tanpa kesadaran batin ini, bagian-bagian yang mampu tidak akan berpadu menjadi tindakan yang terkoordinasi. Ini bukan mekanisme pengindraan yang bisa ditambahkan belakangan ke dalam tubuh agar tubuh lebih aman. Mekanisme ini diperlukan agar tubuh bisa bergerak sama sekali.

Ada kasus seorang pria bernama Ian Waterman yang telah banyak diteliti; ia kehilangan indra ini di sebagian besar tubuhnya. Ia belajar bergerak lagi, tetapi hanya dengan mengawasi dirinya sendiri dan mengarahkan setiap langkah serta uluran tangan dengan mata. Cara itu berhasil. Namun, cara tersebut juga melelahkan dan rapuh. Jika lampu dimatikan, ia sama sekali tidak dapat mengoordinasikan gerakannya. Organisasi yang mengendalikan agennya melalui audit manual dan tinjauan berkala berada dalam posisi yang sama. Organisasi itu terus berupaya untuk mengimbangi kesadaran yang tak pernah dibangunnya, dan upaya tersebut menghabiskan lebih banyak biaya daripada manfaat yang digantikannya. Begitu kondisi berubah, seluruh sistem pun runtuh.

Ada kegagalan lain yang lebih ganjil dan patut disebutkan, yang diuraikan dalam buku menarik karya ahli saraf V S Ramachandran. Ketika anggota tubuh diamputasi, otak tidak menjadi senyap. Otak terus mengirimkan sinyal untuk anggota tubuh yang hilang itu, dan orang tersebut merasakannya dengan jelas. Tata kelola dapat mengalami kegagalan serupa. Jika penilaian nyata dicabut dari fungsi pengawasan akibat restrukturisasi atau pengabaian, fungsi itu tidak lantas berhenti. Tinjauan tetap diselesaikan dan metrik tetap dihasilkan. Organisasi terus merasakan seolah-olah ada pengawasan, padahal penilaian yang mendasarinya telah dikosongkan. Di sinilah saran saya pada 2020 tentang transparansi kembali relevan. Tidak ada pengawasan tanpa transparansi, dan tidak ada transparansi dalam sistem yang hanya menciptakan kesan bahwa dirinya diawasi.

Koherensi sebagai Sumber Daya yang Langka

Kecerdasan kian murah. Tak lama lagi, kecerdasan akan hadir di setiap alur kerja dan setiap alat. Di dunia seperti itu, sumber daya yang langka adalah koherensi: penghubung yang hidup antara apa yang dilakukan setiap sistem secara mandiri dan apa yang ingin dicapai perusahaan. Koherensi adalah jaringan penghubung yang menjaga agar kecerdasan terdistribusi tetap selaras dengan satu tujuan.

Saya menghabiskan bertahun-tahun mempelajari bagaimana otak menjaga berbagai bagiannya bekerja sebagai satu kesatuan. Era agen mengajukan pertanyaan yang sama kepada perusahaan. Tujuannya tidak berubah sejak 2020. Tetap membosankan, tetapi berguna. Kini, hal membosankan dan berguna yang perlu dibangun adalah koherensi itu sendiri.