Dilema Otoritas Pembelajaran: Apa yang Terjadi Ketika Kemampuan Agen AI Melampaui Pengawasan Manusia?

Kami berdiri di titik balik dalam kecerdasan buatan. Selama bertahun-tahun, kami membangun sistem AI yang mengikuti perintah kami. Sekarang, kami membangun agen AI yang tidak hanya mengikuti perintah, tetapi juga belajar, beradaptasi, dan membuat keputusan otonom secara real-time. Sistem ini bergerak dari peran alat ke peran delegasi. Perubahan ini menciptakan apa yang mungkin kita sebut sebagai Dilema Otoritas Pembelajaran. Ketika kemampuan agen AI untuk memproses informasi dan mengeksekusi tugas kompleks melampaui kemampuan kami, dan ketika itu terus belajar dan berkembang setelah penerapan, gagasan tentang pengawasan manusia menjadi rumit. Bagaimana seorang supervisor manusia dapat secara bermakna meninjau atau membatalkan keputusan yang dibuat oleh sistem yang memahami konteks pada tingkat yang tidak dapat kami pahami? Bagaimana kami mempertahankan otoritas atas sesuatu yang, oleh desain, lebih pintar dan lebih cepat dari kami dalam domain tertentu?

Breakdown Pengawasan Manusia

Secara tradisional, keamanan dalam teknologi didasarkan pada prinsip sederhana: human-in-the-loop. Seorang operator manusia meninjau output, memvalidasi logika, dan menarik pelatuk. Tetapi agen AI berbasis agen memecahkan model ini. Agen-agen ini dirancang untuk mengejar tujuan di seluruh lingkungan digital. Mereka dapat memesan perjalanan, bernegosiasi kontrak, mengelola rantai pasokan, atau bahkan menulis kode.

Masalahnya tidak hanya kecepatan. Ini adalah opasitas. Sistem ini sering menggunakan model bahasa besar atau pembelajaran penguatan kompleks. Jalur pengambilan keputusan mereka tidak dapat dengan mudah dikurangi menjadi aturan if-then sederhana yang dapat diperiksa oleh manusia baris per baris. Bahkan insinyur yang membangun sistem mungkin tidak sepenuhnya memahami mengapa tindakan tertentu diambil dalam situasi baru.

Ini menyebabkan celah berbahaya. Kami meminta manusia untuk mengawasi sistem yang tidak dapat mereka pahami sepenuhnya. Ketika agen “belajar” dan beradaptasi dengan strategi, supervisor manusia ditinggalkan bereaksi terhadap hasil, tidak dapat campur tangan dalam proses. Kami menjadi pengamat keputusan bukan orang yang membentuknya.

Perangkap Otonomi

Filsuf Philipp Koralus di Universitas Oxford mendeskripsikan ini sebagai “dilema agensi-otonomi.” Jika kami tidak menggunakan agen AI canggih untuk membantu kami menangani dunia yang semakin kompleks, kami berisiko menjadi tidak efektif dan kehilangan rasa kontrol. Kami tidak dapat bersaing dengan kekuatan pemrosesan mesin.

Tetapi jika kami mengandalkan mereka, kami berisiko kehilangan otonomi. Kami mulai mengoutsourcing tidak hanya tugas, tetapi juga penilaian. Agen menyaring informasi kami, memprioritaskan pilihan kami, dan mendorong kami menuju kesimpulan yang sesuai dengan model optimasi. Dalam waktu, pengaruh digital ini dapat membentuk apa yang kami percayai dan bagaimana kami memilih bahkan tanpa kami menyadari.

Bahaya adalah bahwa sistem ini terlalu berguna untuk diabaikan. Mereka membantu kami menangani kompleksitas yang terasa menghancurkan. Tetapi ketika kami mengandalkan mereka, kami mungkin perlahan-lahan kehilangan keterampilan yang kami butuhkan untuk membimbing dan mengendalikan mereka, seperti pemikiran kritis, penilaian etis, dan kesadaran konteks.

Paradoks Akuntabilitas-Kemampuan

Penelitian terbaru memperkenalkan konsep “Paradoks Akuntabilitas-Kemampuan.” Ini adalah inti dari dilema. Semakin mampu AI, semakin banyak tugas yang kami berikan kepadanya. Semakin banyak tugas yang kami berikan, semakin sedikit kami berlatih keterampilan tersebut. Semakin sedikit kami berlatih, semakin sulit bagi kami untuk menilai apakah AI berfungsi dengan baik. Kemampuan kami untuk mempertanggungjawabkan sistem berkurang sebanding dengan kemampuan sistem.

Ini menciptakan lingkaran ketergantungan. Kami percaya AI karena biasanya benar. Tetapi karena kami percaya, kami berhenti memverifikasi. Ketika AI akhirnya membuat kesalahan, dan itu akan terjadi karena semua sistem gagal, kami tidak siap untuk menangkapnya. Kami kekurangan “kesadaran situasional” untuk kembali mengambil alih kendali.

Ini sangat berbahaya di domain dengan risiko tinggi, seperti kesehatan masyarakat atau pasar keuangan. Agen AI mungkin mengambil jalur yang tidak terduga yang menyebabkan kerusakan serius. Ketika itu terjadi, supervisor manusia masih bertanggung jawab atas keputusan yang tidak mereka buat dan tidak dapat mereka prediksi. Mesin bertindak, tetapi manusia membayar harga.

Batasan “Nudge” dan Kebutuhan Desain “Sokrates”

Banyak sistem saat ini dibangun berdasarkan filosofi “nudge“. Mereka mencoba mengarahkan perilaku pengguna menuju apa yang algoritma temukan sebagai pilihan terbaik. Tetapi ketika agen bergerak dari menyarankan ke melakukan, dorongan ini menjadi sesuatu yang lebih kuat. Ini menjadi pengaturan default untuk kenyataan.

Untuk memecahkan Dilema Otoritas Pembelajaran, kami perlu berhenti merancang agen yang hanya memberikan jawaban. Sebaliknya, kami harus membangun agen yang mendorong pertanyaan, refleksi, dan pemahaman berkelanjutan. Koralus menyebut ini sebagai “gilirannya filosofis” dalam AI. Alih-alih agen yang menutup loop dengan menyelesaikan tugas, kami membutuhkan agen yang membuka loop dengan mengajukan pertanyaan klarifikasi.

AI Sokrates ini tidak hanya akan mengeksekusi perintah untuk “membuat penerbangan terbaik.” Ini akan terlibat dalam dialog dengan pengguna. Ini akan bertanya, “Anda memilih penerbangan ini karena harganya rendah, tetapi itu menambah enam jam ke perjalanan Anda. Apakah Anda menghargai biaya lebih dari waktu hari ini?” Ini memaksa manusia untuk tetap terlibat dalam proses penalaran.

Dengan mempertahankan jeda kognitif ini antara prompt dan aksi, kami melindungi kemampuan kami untuk berpikir. Kami mempertahankan apa yang disebut beberapa peneliti sebagai “inti non-delegable” dari penilaian manusia. Lebih penting lagi, kami tidak boleh menyerahkan keputusan yang melibatkan nilai, etika, atau risiko tidak diketahui kepada AI.

Membangun Infrastruktur Pemerintahan

Menangani dilema ini tidak hanya merupakan filosofi desain; ini memerlukan infrastruktur yang keras. Kami tidak dapat mengandalkan niat baik atau audit pasca-fakta. Kami membutuhkan penegakan teknis.

Satu arah yang menjanjikan adalah konsep “Sentinel” atau lapisan pengawasan eksternal yang memantau perilaku AI secara real-time. Ini bukanlah manusia yang menonton layar, tetapi AI lain, algoritma pengawasan, yang mencari anomali, pelanggaran kebijakan, atau penurunan kepercayaan. Ketika itu mendeteksi masalah, itu dapat memicu pengalihan keras ke manusia.

Ini memerlukan definisi jelas “kontrol” versus “pengawasan”. Kontrol adalah kemampuan waktu nyata untuk mencegah aksi. Pengawasan adalah kemampuan untuk meninjau log setelah fakta. Untuk agen otonom yang sebenarnya, kontrol waktu nyata oleh manusia sering tidak mungkin. Oleh karena itu, kami harus membangun sistem dengan berhenti keras. Misalnya, agen yang beroperasi di area risiko tinggi harus memiliki arsitektur “kill switch”. Jika kepercayaan agen sendiri jatuh di bawah ambang batas, atau jika itu mengalami skenario yang tidak pernah dilatih sebelumnya, itu harus berhenti dan menunggu instruksi.

Selanjutnya, kami membutuhkan pendekatan federasi untuk pemerintahan. Alih-alih satu model monolitik yang menentukan kebenaran, kami dapat menggunakan konstelasi agen yang beragam yang saling memvalidasi. Pencarian kebenaran yang terdesentralisasi berarti bahwa tidak ada AI tunggal yang memiliki kata terakhir. Jika dua agen tidak setuju, konflik itu adalah sinyal untuk intervensi manusia.

Intinya

Ketika kami berdiri di ambang sistem otonom yang sebenarnya, kami harus ingat bahwa kecerdasan tidak hanya tentang mengetahui. Ini tentang membedakan. Ini tentang memegang dua gagasan yang bertentangan dan masih membuat penilaian. Itu adalah keterampilan manusia. Jika kami mendelegasikan kecerdasan itu, kami tidak hanya kehilangan kontrol atas mesin kami. Kami kehilangan kontrol atas diri kami sendiri.