Kecerdasan Buatan Sudah Hidup. Risiko Anda Baru Saja Berubah.

Kita semua tahu hari ini akan tiba. Tidak dalam film, tidak bertahun-tahun dari sekarang. Ini sudah ada di sini.

Kecerdasan Buatan (AI) tidak lagi hanya membantu. Ini mulai bertindak, membuat keputusan, dan beroperasi dalam sistem dengan cara yang tidak kita antisipasi sepenuhnya. Itu seharusnya mengubah cara Anda berpikir tentang risiko mulai hari ini. Karena begitu AI menjadi aktor dalam lingkungan Anda, risiko Anda tidak meningkat secara bertahap. Ini berubah sekaligus.

Pengungkapan terbaru, termasuk kartu sistem Anthropic, bersama dengan sinyal yang lebih luas dari pengembang seperti Anthropic, OpenAI, dan Google DeepMind, menunjukkan lebih dari kemajuan inkremental. Mereka menunjukkan sistem yang mulai menunjukkan derajat otonomi dalam lingkungan yang tidak dirancang untuk mengandungnya.

Ini bukan tentang penyerang yang menggunakan AI. Ini tentang AI itu sendiri menjadi bagian dari lanskap ancaman dalam perusahaan Anda.

Kecepatan Mesin Mengubah Persamaan

AI tidak beroperasi pada kecepatan manusia; itu beroperasi pada kecepatan mesin. Ini dapat mengevaluasi ribuan pilihan, memproses dataset besar, dan bertindak dalam hitungan detik. Apa yang dulunya membutuhkan waktu, pengintaian, akses, pergerakan, dan eksekusi sekarang dapat dikompresi menjadi jendela waktu yang jauh lebih singkat.

Dalam beberapa kasus, berinteraksi dengan AI menjadi jalan pintas. Jika sistem memiliki akses yang terlalu besar atau tidak cukup konstrain, itu dapat bergerak melintasi data, sistem, dan alur kerja sebelum kontrol tradisional bahkan mendaftar apa yang terjadi.

Ini bukan hanya risiko yang lebih cepat. Ini adalah jenis risiko yang berbeda sepenuhnya.

Ketika Niat Jelas, tetapi Hasil Tidak Jelas

Manusia bergantung pada asumsi bersama. Jika Anda memberi tahu seseorang untuk melindungi data Anda, mereka memahami apa yang Anda maksud. Simpan dengan aman dari pencurian, batasi akses, dan hindari mengganggu bisnis dalam proses.

AI tidak berpikir dengan cara itu. Ini menafsirkan tujuan dan mengoptimalkan ke arah itu. Dengan instruksi yang sama, sistem AI mungkin menentukan bahwa data Anda tidak aman di tempatnya sekarang. Ini mungkin mengidentifikasi kerentanan, jalur akses berlebihan, atau kontrol lemah, dan memutuskan bahwa tindakan terbaik adalah memindahkannya.

Ini dapat membuat lingkungan baru, memindahkan data, menguncinya, dan membatasi akses.

Dari perspektifnya, itu berhasil. Dari sudut pandang Anda, itu hanya memindahkan data sensitif di luar kendali Anda, mengganggu operasi, dan memperkenalkan risiko baru. Dalam beberapa skenario, itu bahkan dapat menentukan bahwa Anda mewakili risiko dan membatasi akses Anda sepenuhnya.

Kedua hasil mengikuti instruksi. Pertanyaannya adalah apakah mereka selaras dengan niat Anda. Celah antara niat dan eksekusi adalah tempat risiko sekarang hidup.

Arsitektur yang Kami Lupakan untuk Dibangun

Kami telah menyelesaikan masalah seperti ini sebelumnya. Selama beberapa dekade, kami membangun sistem di sekitar keamanan berlapis melalui sistem operasi. Tingkat privilegi, antarmuka yang dikontrol, dan batasan keras antara komponen. Tidak ada bagian dari sistem yang mendapatkan wewenang tak terbatas; semuanya dimediasi. Tapi AI tidak mengikuti model itu.

Implementasi saat ini sering menggabungkan penalaran, akses data, dan tindakan menjadi satu alur. Sebuah prompt dapat mempengaruhi data apa yang ditarik, bagaimana itu ditafsirkan, dan tindakan apa yang diambil. Ketika tidak ada pemisahan yang jelas, itu menciptakan sistem dengan jangkauan luas dan sangat sedikit konstrain internal. Itu bukan hanya celah; itu adalah langkah mundur dalam cara kami merancang sistem yang aman. Ini adalah tempat tanggung jawab bergeser ke hulu.

Jika sistem AI akan menalar, mengakses data, dan bertindak, mereka perlu dibangun dengan disiplin arsitektur yang sama yang kami harapkan dari sistem operasi. Itu berarti pemisahan yang ditegakkan antara lapisan, batasan privilegi yang jelas, dan tindakan dieksekusi hanya melalui antarmuka yang dikontrol dan dapat diaudit.

Saat ini, banyak dari itu yang hilang atau ditegakkan longgar. Upaya seperti Glasswing dari Anthropic, bersama dengan keterlibatan yang lebih luas di seluruh ekosistem dari perusahaan seperti Microsoft dan Cisco, menunjukkan bahwa industri mengakui kebutuhan akan kerangka kerja keamanan dan kontrol yang lebih kuat di sekitar sistem yang semakin otonom. Tapi mereka juga menyoroti betapa awalnya kita masih berada.

Di Mana Risiko Nyata Sekarang Hidup

Analisis terbaru dari Anthropic menyoroti tiga jalur risiko yang paling penting ketika sistem AI menjadi lebih mampu.

Yang pertama adalah manipulasi sistem otonom. Sistem AI dengan akses ke lingkungan internal dapat memodifikasi konfigurasi, mempengaruhi pengambilan keputusan, dan memperkenalkan perubahan yang mempengaruhi operasi. Dalam sistem kritis seperti daya, kesehatan, dan infrastruktur, ini dapat memiliki konsekuensi langsung di dunia nyata.

Yang kedua adalah kompromi sistem persisten melalui kode yang dihasilkan AI. AI dapat memperkenalkan kerentanan atau backdoor yang sulit dideteksi tetapi mudah dieksploitasi nanti. Ini menciptakan risiko tersembunyi jangka panjang di dalam sistem yang mungkin tampak aman.

Yang ketiga adalah self-eksfiltrasi dan operasi otonom. Sistem AI bisa mereplikasi, memindahkan, atau beroperasi di luar kendali perusahaan. Begitu itu terjadi, pengandalian menjadi jauh lebih sulit dan perlindungan tradisional tidak lagi berlaku.

Ini bukan risiko yang terisolasi; mereka membentuk rantai. AI bertindak di dalam sistem, memperkenalkan perubahan, dan dalam beberapa kasus, beroperasi di luar batasan yang dimaksud.

Model Tanggung Jawab Bersama yang Belum Didefinisikan

Kami telah melihat ini sebelumnya dengan cloud. Penyedia seperti Amazon Web Services, Microsoft Azure, dan Google Cloud telah membangun model tanggung jawab bersama. Mereka mengamankan infrastruktur. Anda mengamankan apa yang Anda terapkan.

AI memasuki fase yang sama, tetapi garis-garisnya belum jelas. Vendor mengontrol bagaimana sistem berperilaku. Perusahaan mengontrol apa yang mereka akses dan di mana mereka beroperasi.

Saat ini, tanggung jawab tersebut belum sejalan. Vendor memajukan kemampuan agen dan alur kerja otonom. Perusahaan menggunakannya, menganggap sistem tersebut secara inheren terkendali.

Mereka tidak. Sampai vendor menegakkan batasan tersebut pada tingkat sistem, perusahaan terpaksa mencoba mengandung perilaku yang tidak mereka kendalikan sepenuhnya.

Apa yang Pemimpin Harus Lakukan Sekarang

Ini bukan masalah masa depan; ini adalah masalah desain yang sudah ada. Perlakukan AI sebagai aktor non-manusia yang memiliki privilegi; bukan hanya alat lain, tetapi sesuatu dengan jangkauan dan pengaruh yang harus dibatasi.

Pindahkan kontrol lebih dekat ke data. Pahami tidak hanya siapa yang dapat mengaksesnya, tetapi bagaimana itu dapat digunakan dan dalam konteks apa. Pantau perilaku, bukan hanya akses, dan fokus pada apa yang sistem lakukan dan hasil yang mereka produksi. Dan desain untuk pengandalian dari awal. Anggap sistem akan beroperasi di luar batasan yang dimaksud dan pastikan Anda dapat mendeteksi dan mengganggu perilaku tersebut secara real-time. Menit adalah terlalu lambat.

Intinya

Laporan Anthropic bukanlah outlier; mereka adalah sinyal awal. AI tidak hanya menskalakan risiko; itu mengubah bagaimana risiko diciptakan dari awal. Kami menghabiskan dekade membangun sistem dengan batasan dan kontrol. Sekarang kami menerapkan sistem yang dapat bergerak melintasi batasan tersebut tanpa disiplin yang sama.

Jika AI terus berkembang sebagai aktor di dalam lingkungan perusahaan, pertanyaannya bukanlah apakah itu dapat beroperasi di luar penggunaan yang dimaksud. Ini adalah apakah vendor akan membangun kontrol arsitektur untuk mencegahnya dan apakah perusahaan akan menuntut mereka sebelum menerapkan sistem tersebut secara besar-besaran.