Ketika Agen AI Mulai Membangun AI: Ledakan Kecerdasan Berulang yang Tidak Siap

Selama beberapa dekade, kecerdasan buatan berkembang dalam langkah-langkah yang hati-hati, sebagian besar linier. Peneliti membangun model. Insinyur meningkatkan kinerja. Organisasi mengirimkan sistem untuk mengotomatisasi tugas tertentu. Setiap perbaikan sangat bergantung pada desain dan pengawasan manusia. Pola itu sekarang mulai berubah. Diam-diam tetapi secara definitif, sistem AI melintasi ambang di mana mereka tidak lagi hanya menjadi alat yang dibangun oleh manusia. Mereka menjadi pembangun sendiri.

Agen AI mulai merancang, mengevaluasi, dan mengirimkan sistem AI lain. Dengan melakukan itu, mereka menciptakan loop umpan balik di mana setiap generasi memperbaiki yang berikutnya. Perubahan ini tidak diumumkan dengan headline yang dramatis. Ini terjadi melalui makalah penelitian, alat pengembang, dan platform perusahaan. Namun, implikasinya sangat mendalam. Ketika kecerdasan dapat memperbaiki dirinya sendiri, kemajuan tidak lagi mengikuti timeline atau intuisi manusia. Ini mempercepat.

Artikel ini menjelajahi bagaimana kita tiba di saat ini, mengapa kecerdasan berulang penting, dan mengapa masyarakat jauh menos siap untuk itu daripada yang seharusnya. Ledakan kecerdasan, yang awalnya merupakan gagasan filosofis, sekarang telah menjadi tantangan teknik konkret.

Evolusi Ledakan Kecerdasan

Gagasan bahwa mesin dapat memperbaiki kecerdasan sendiri mendahului komputasi modern. Pada awal 1960-an, matematikawan Inggris I. J. Good memperkenalkan konsep “ledakan kecerdasan.” Alasannya adalah: Jika mesin menjadi cerdas enough untuk memperbaiki desainnya sendiri, bahkan sedikit, versi yang diperbaiki akan lebih baik dalam memperbaiki yang berikutnya. Siklus ini dapat berulang dengan cepat, menghasilkan pertumbuhan jauh melampaui pemahaman atau kontrol manusia. Pada saat itu, ini adalah eksperimen pemikiran filosofis, yang lebih banyak dibahas dalam teori daripada praktek.

Beberapa dekade kemudian, gagasan tersebut mendapatkan landasan teknis melalui karya ilmuwan komputer Jürgen Schmidhuber. Proposalnya tentang Gödel Machine menggambarkan sistem yang dapat menulis ulang bagian mana pun dari kode sendiri, asalkan dapat membuktikan secara formal bahwa perubahan tersebut akan memperbaiki kinerja masa depannya. Tidak seperti sistem pembelajaran tradisional, yang menyesuaikan parameter dalam arsitektur tetap, Gödel Machine dapat mengubah aturan pembelajarannya sendiri. Meskipun masih teoretis, pekerjaan ini mengubah ledakan kecerdasan menjadi sesuatu yang dapat dipelajari, diformalkan, dan akhirnya dibangun.

Perubahan terakhir dari teori ke praktek datang dengan munculnya agen AI modern. Sistem ini tidak hanya menghasilkan output sebagai respons terhadap prompt. Mereka merencanakan, beralasan, bertindak, mengamati hasil, dan menyesuaikan perilaku seiring waktu. Dengan munculnya arsitektur agen, ledakan kecerdasan berpindah dari filosofi ke teknik. Eksperimen awal, seperti konsep Darwin Gödel Machine, memberi petunjuk tentang sistem yang berevolusi melalui perbaikan diri berulang. Apa yang membuat saat ini berbeda adalah rekursi. Ketika agen AI dapat menciptakan dan memperbaiki agen lain, belajar dari setiap iterasi, perbaikan menjadi berkompound.

Ketika Agen AI Mulai Membangun AI

Dua tren utama yang mendorong transisi ini. Yang pertama adalah munculnya sistem AI agen. Sistem ini mengejar tujuan selama periode yang diperpanjang, memecah tugas menjadi langkah, mengoordinasikan alat, dan menyesuaikan berdasarkan umpan balik. Mereka bukanlah model statis. Mereka adalah proses.

Tren kedua adalah pembelajaran mesin otomatis. Sistem sekarang ada yang dapat merancang arsitektur, menyetel hyperparameter, menghasilkan pipeline pelatihan, dan bahkan mengusulkan algoritma baru dengan input manusia minimal. Ketika penalaran agen digabungkan dengan pembuatan model otomatis, AI memperoleh kemampuan untuk membangun AI.

Ini tidak lagi merupakan skenario hipotetis. Agen otonom seperti AutoGPT menunjukkan bagaimana satu tujuan dapat memicu siklus perencanaan, eksekusi, evaluasi, dan revisi. Dalam lingkungan penelitian, sistem seperti Sakana AI’s Scientist-v2 dan DeepMind’s AlphaEvolve menunjukkan agen merancang eksperimen, mengusulkan algoritma, dan memperbaiki solusi melalui umpan balik berulang. Dalam pencarian arsitektur neural, sistem AI sudah menemukan struktur model yang rivalling atau melampaui jaringan yang dirancang manusia. Sistem ini tidak hanya memecahkan masalah. Mereka memperbaiki mekanisme yang digunakan untuk memecahkan masalah. Setiap siklus menghasilkan alat yang lebih baik, yang memungkinkan siklus yang lebih baik.

Untuk memperluas proses ini, peneliti dan perusahaan semakin mengandalkan arsitektur orchestrator. Agen meta pusat menerima tujuan tingkat tinggi. Ini memecah tugas menjadi submasalah, menghasilkan agen khusus untuk menanganinya, mengevaluasi hasil menggunakan data dunia nyata, dan mengintegrasikan hasil terbaik. Desain yang buruk dibuang dan desain yang sukses diperkuat. Seiring waktu, orchestrator menjadi lebih baik dalam merancang agen itu sendiri.

Sementara timeline pasti kapan agen AI akan sepenuhnya membangun dan memperbaiki sistem AI lain tetap tidak pasti, trajektori penelitian saat ini dan asesmen dari peneliti AI terkemuka dan praktisi menunjukkan transisi ini mendekati lebih cepat daripada yang banyak orang harapkan. Versi awal, terbatas dari kemampuan ini sudah muncul di laboratorium penelitian dan penerapan perusahaan, di mana agen mulai merancang, mengevaluasi, dan memperbaiki sistem lain dengan keterlibatan manusia yang terbatas.

Munculnya Ketidakpastian

Kecerdasan berulang memperkenalkan tantangan yang tidak pernah dihadapi oleh otomatisasi tradisional. Salah satu tantangan ini adalah ketidakpastian pada tingkat sistem. Ketika banyak agen berinteraksi, perilaku kolektif mereka dapat menyimpang dari niat di balik desain individu. Fenomena ini dikenal sebagai perilaku emergent.

Emergence muncul tidak dari komponen tunggal yang rusak, tetapi dari interaksi antara banyak komponen yang kompeten. Pertimbangkan sistem perdagangan otomatis. Setiap agen perdagangan mungkin mengikuti aturan rasional yang dirancang untuk memaksimalkan keuntungan dalam batasan. Namun, ketika ribuan agen seperti itu berinteraksi pada kecepatan tinggi, loop umpan balik dapat terbentuk. Reaksi satu agen dapat memicu respons lain, yang dapat memicu lainnya, sampai sistem menjadi tidak stabil. Keruntuhan pasar dapat terjadi tanpa agen tunggal yang gagal. Kegagalan ini tidak dipicu oleh niat jahat. Ini hasil dari ketidaksesuaian antara optimasi lokal dan tujuan sistem secara keseluruhan. Dinamika yang sama juga dapat berlaku untuk bidang lain.

Krisis Pemeliharaan Multi-Agen

Penelitian pemeliharaan AI tradisional berfokus pada pemeliharaan model tunggal ke nilai manusia. Pertanyaannya sederhana: bagaimana kita memastikan sistem ini berperilaku seperti yang kita inginkan? Pertanyaan itu menjadi jauh lebih sulit ketika sistem mengandung puluhan, ratusan, atau ribuan agen yang berinteraksi. Pemeliharaan agen individu tidak menjamin perilaku sistem yang sesuai. Bahkan ketika setiap komponen mengikuti aturannya, hasil kolektif dapat berbahaya. Metode keamanan yang ada tidak terlalu sesuai untuk mendeteksi atau mencegah kegagalan ini.

Risiko keamanan juga berkembang biak. Agen yang dikompromikan dalam jaringan multi-agen dapat meracuni informasi yang agen lain andalkan. Penyimpanan data yang rusak dapat menyebarkan perilaku yang tidak sesuai ke seluruh sistem. Kerentanan infrastruktur yang mengancam satu agen dapat berkembang menjadi mengancam model dasar. Permukaan serangan berkembang dengan setiap agen baru yang ditambahkan.

Sementara itu, kesenjangan tata kelola terus melebar. Penelitian dari Microsoft dan organisasi lain menemukan bahwa hanya sekitar satu dari sepuluh perusahaan memiliki strategi yang jelas untuk mengelola identitas agen AI dan izin. Lebih dari empat puluh miliar identitas otonom diharapkan ada pada akhir tahun ini. Sebagian besar beroperasi dengan akses luas ke data dan sistem tetapi tanpa protokol keamanan yang diterapkan pada pengguna manusia. Sistem ini berkembang pesat. Mekanisme pengawasan tidak.

Kehilangan Pengawasan

Risiko paling serius yang diperkenalkan oleh perbaikan diri berulang adalah bukan kemampuan mentah, tetapi kehilangan pengawasan manusia yang bermakna. Organisasi penelitian terkemuka secara aktif mengembangkan sistem yang dapat memodifikasi dan mengoptimalkan arsitektur mereka sendiri dengan sedikit atau tanpa keterlibatan manusia. Setiap perbaikan memungkinkan sistem untuk menghasilkan penerus yang lebih mampu, menciptakan loop umpan balik dengan tidak ada titik di mana manusia tetap berada dalam kontrol yang dapat diandalkan.

Ketika pengawasan manusia berkurang, implikasinya menjadi mendalam. Ketika siklus perbaikan berjalan pada kecepatan mesin, manusia tidak dapat lagi meninjau setiap perubahan, memahami setiap keputusan desain, atau mengintervensi sebelum penyimpangan kecil berkompound menjadi risiko sistemik. Pengawasan bergeser dari kontrol langsung ke pengamatan retrospektif. Dalam kondisi seperti itu, pemeliharaan menjadi lebih sulit untuk diverifikasi dan lebih mudah tererosi, karena sistem dipaksa untuk membawa tujuan dan konstrain mereka ke depan melalui modifikasi diri berulang. Tanpa mekanisme yang dapat diandalkan untuk melestarikan niat melalui iterasi ini, sistem mungkin terus berfungsi secara efektif sementara diam-diam bergeser di luar nilai, prioritas, dan tata kelola manusia

Intinya

AI telah memasuki fase di mana ia dapat memperbaiki dirinya sendiri dengan membangun versi yang lebih baik dari dirinya sendiri. Kecerdasan berulang, yang dipimpin oleh agen, menjanjikan keuntungan luar biasa, tetapi juga memperkenalkan risiko yang berkembang lebih cepat daripada pengawasan, tata kelola, dan intuisi manusia. Tantangan di depan bukanlah apakah perubahan ini dapat dihentikan, tetapi apakah keamanan, pemeliharaan, dan akuntabilitas dapat berkembang dengan kecepatan yang sama dengan kemampuan. Jika tidak, ledakan kecerdasan akan bergerak di luar kemampuan kita untuk memandunya.