Ketika Agen AI Memulai Membangun AI: Ledakan Intelijen Rekursif yang Tidak Siap

Selama beberapa dekade, kecerdasan buatan berkembang dalam langkah-langkah yang hati-hati, sebagian besar linier. Peneliti membangun model. Insinyur memperbaiki kinerja. Organisasi menerapkan sistem untuk mengotomatisasi tugas tertentu. Setiap perbaikan sangat bergantung pada desain dan pengawasan manusia. Pola itu sekarang mulai berubah. Diam-diam tetapi secara definitif, sistem AI melintasi ambang di mana mereka tidak lagi hanya menjadi alat yang dibangun oleh manusia. Mereka menjadi pembangun sendiri.

Agen AI mulai merancang, mengevaluasi, dan menerapkan sistem AI lain. Dengan melakukan itu, mereka menciptakan loop umpan balik di mana setiap generasi memperbaiki generasi berikutnya. Perubahan ini tidak diumumkan dengan headline dramatis. Ini terjadi melalui makalah penelitian, alat pengembang, dan platform perusahaan. Namun, implikasinya sangat mendalam. Ketika kecerdasan dapat memperbaiki dirinya secara rekursif, kemajuan tidak lagi mengikuti timeline atau intuisi manusia. Ini mempercepat.

Artikel ini menjelajahi bagaimana kita tiba di saat ini, mengapa intelijen rekursif penting, dan mengapa masyarakat jauh kurang siap untuk itu daripada yang seharusnya. Ledakan intelijen, yang dulunya merupakan ide filosofis, sekarang telah menjadi tantangan rekayasa konkret.

Perkembangan Ledakan Intelijen

Ide bahwa mesin dapat memperbaiki kecerdasannya sendiri mendahului komputasi modern. Pada awal 1960-an, matematikawan Inggris I. J. Good memperkenalkan konsep “ledakan intelijen.” Alasannya adalah: Jika mesin menjadi cerdas enough untuk memperbaiki desainnya sendiri, bahkan sedikit, versi yang diperbaiki akan lebih baik dalam memperbaiki yang berikutnya. Siklus ini dapat berulang dengan cepat, menghasilkan pertumbuhan yang jauh melampaui pemahaman atau kontrol manusia. Pada saat itu, ini adalah eksperimen pemikiran filosofis, yang lebih banyak dibahas dalam teori daripada praktek.

Beberapa dekade kemudian, ide tersebut mendapatkan landasan teknis melalui karya ilmuwan komputer Jürgen Schmidhuber. Proposalnya tentang Mesin Gödel menjelaskan sistem yang dapat menulis ulang bagian mana pun dari kode sendiri, asalkan dapat membuktikan secara formal bahwa perubahan tersebut akan meningkatkan kinerja masa depannya. Tidak seperti sistem pembelajaran tradisional, yang menyesuaikan parameter dalam arsitektur tetap, Mesin Gödel dapat mengubah aturan pembelajarannya sendiri. Meskipun masih teoretis, pekerjaan ini mengubah ledakan intelijen menjadi sesuatu yang dapat dipelajari, diformalkan, dan akhirnya dibangun.

Perubahan terakhir dari teori ke praktek datang dengan munculnya agen AI modern. Sistem ini tidak hanya menghasilkan output sebagai respons terhadap prompt. Mereka merencanakan, bernalar, bertindak, mengamati hasil, dan menyesuaikan perilaku seiring waktu. Dengan munculnya arsitektur agen, ledakan intelijen berpindah dari filsafat ke rekayasa. Eksperimen awal, seperti Konsep Mesin Darwin Gödel, memberikan petunjuk tentang sistem yang berkembang melalui perbaikan diri iteratif. Apa yang membuat saat ini berbeda adalah rekursi. Ketika agen AI dapat menciptakan dan memperbaiki agen lain, belajar dari setiap iterasi, perbaikan menjadi berkompound.

Ketika Agen AI Memulai Membangun AI

Dua tren utama yang mendorong transisi ini. Yang pertama adalah munculnya sistem AI agen. Sistem ini mengejar tujuan selama periode yang diperpanjang, memecah tugas menjadi langkah-langkah, mengkoordinasikan alat, dan menyesuaikan berdasarkan umpan balik. Mereka bukanlah model statis. Mereka adalah proses.

Tren kedua adalah pembelajaran mesin otomatis. Sistem sekarang ada yang dapat merancang arsitektur, menyetel hyperparameter, menghasilkan pipa pelatihan, dan bahkan mengusulkan algoritma baru dengan sedikit input manusia. Ketika penalaran agen digabungkan dengan pembuatan model otomatis, AI memperoleh kemampuan untuk membangun AI.

Ini tidak lagi merupakan skenario hipotetis. Agen otonom seperti AutoGPT menunjukkan bagaimana satu tujuan dapat memicu siklus perencanaan, eksekusi, evaluasi, dan revisi. Dalam lingkungan penelitian, sistem seperti Sakana AI’s Scientist-v2 dan DeepMind’s AlphaEvolve menunjukkan agen merancang eksperimen, mengusulkan algoritma, dan memperbaiki solusi melalui umpan balik iteratif. Dalam pencarian arsitektur neural, sistem AI sudah menemukan struktur model yang rivalse atau melampaui jaringan yang dirancang manusia. Sistem ini tidak hanya memecahkan masalah. Mereka memperbaiki mekanisme yang digunakan untuk memecahkan masalah. Setiap siklus menghasilkan alat yang lebih baik, yang memungkinkan siklus yang lebih baik.

Untuk menskalakan proses ini, peneliti dan perusahaan semakin mengandalkan arsitektur orkestrator. Sebuah agen meta-pusat menerima tujuan tingkat tinggi. Ini memecah tugas menjadi sub-masalah, menghasilkan agen khusus untuk menanganinya, mengevaluasi hasil menggunakan data dunia nyata, dan mengintegrasikan hasil terbaik. Desain yang buruk dibuang dan desain yang sukses diperkuat. Seiring waktu, orkestrator menjadi lebih baik dalam merancang agen itu sendiri.

Meskipun timeline pasti untuk kapan agen AI akan sepenuhnya membangun dan memperbaiki sistem AI lain masih tidak pasti, trajektori penelitian saat ini dan asesmen dari peneliti AI terkemuka dan praktisi menunjukkan bahwa transisi ini mendekati lebih cepat daripada yang banyak harapkan. Versi awal, terbatas dari kemampuan ini sudah muncul di laboratorium penelitian dan penerapan perusahaan, di mana agen mulai merancang, mengevaluasi, dan memperbaiki sistem lain dengan keterlibatan manusia yang terbatas.

Timbulnya Ketidakpastian

Intelijen rekursif memperkenalkan tantangan yang tidak pernah dihadapi oleh otomatisasi tradisional. Salah satu tantangan ini adalah ketidakpastian pada tingkat sistem. Ketika banyak agen berinteraksi, perilaku kolektif mereka dapat menyimpang dari niat di balik desain individu. Fenomena ini dikenal sebagai perilaku emergen.

Perilaku emergen muncul tidak dari komponen tunggal yang rusak, tetapi dari interaksi antara banyak komponen yang kompeten. Pertimbangkan sistem perdagangan otomatis. Setiap agen perdagangan mungkin mengikuti aturan rasional yang dirancang untuk memaksimalkan keuntungan dalam batasan. Namun, ketika ribuan agen seperti itu berinteraksi dengan kecepatan tinggi, loop umpan balik dapat terbentuk. Reaksi satu agen dapat memicu respons lain, yang dapat memicu respons lain, sampai sistem menjadi tidak stabil. Keruntuhan pasar dapat terjadi tanpa agen tunggal yang gagal. Kegagalan ini tidak disebabkan oleh niat jahat. Ini hasil dari ketidakselarasan antara optimasi lokal dan tujuan sistem luas. Dinamika yang sama juga dapat diterapkan pada bidang lain.

Krisis Alineasi Multi-Agen

Penelitian alineasi AI tradisional berfokus pada alineasi model tunggal dengan nilai-nilai manusia. Pertanyaannya sederhana: bagaimana kita memastikan sistem ini berperilaku seperti yang kita inginkan? Pertanyaan itu menjadi jauh lebih sulit ketika sistem tersebut mengandung puluhan, ratusan, atau ribuan agen yang berinteraksi. Mengalinekan agen individu tidak menjamin perilaku sistem yang selaras. Bahkan ketika setiap komponen mengikuti aturannya, hasil kolektif dapat berbahaya. Metode keamanan yang ada tidak terlalu sesuai untuk mendeteksi atau mencegah kegagalan ini.

Risiko keamanan juga berkembang biak. Agen yang dikompromikan dalam jaringan multi-agen dapat meracuni informasi yang agen lain andalkan. Penyimpanan data yang rusak dapat menyebarkan perilaku yang tidak selaras ke seluruh sistem. Kerentanan infrastruktur yang mengancam satu agen dapat berkembang menjadi mengancam model dasar. Permukaan serangan berkembang dengan setiap agen baru yang ditambahkan.

Sementara itu, celah tata kelola terus melebar. Penelitian dari Microsoft (MSFT ) dan organisasi lain menemukan bahwa hanya sekitar satu dari sepuluh perusahaan memiliki strategi yang jelas untuk mengelola identitas dan izin agen AI. Lebih dari empat puluh miliar identitas otonom diharapkan ada pada akhir tahun ini. Sebagian besar beroperasi dengan akses luas ke data dan sistem tetapi tanpa protokol keamanan yang diterapkan pada pengguna manusia. Sistem ini berkembang pesat. Mekanisme pengawasan tidak.

Intinya

AI telah memasuki fase di mana ia dapat memperbaiki dirinya dengan membangun versi yang lebih baik dari dirinya sendiri. Intelijen rekursif yang didorong oleh agen menjanjikan keuntungan luar biasa, tetapi juga memperkenalkan risiko yang berkembang lebih cepat daripada pengawasan, tata kelola, dan intuisi manusia. Tantangan di depan bukanlah apakah perubahan ini dapat dihentikan, tetapi apakah keamanan, alineasi, dan akuntabilitas dapat berkembang dengan kecepatan yang sama dengan kemampuan. Jika tidak, ledakan intelijen akan melampaui kemampuan kita untuk memandunya.