Sembilan Detik ke Nol: Apa yang Terjadi dalam Insiden PocketOS Mengenai Risiko AI Perusahaan

Pada pagi hari 25 April 2026, seorang pendiri teknologi menonton basis data perusahaan produksinya menghilang. Tidak rusak. Tidak sebagian tertimpa. Hilang, bersama dengan setiap cadangan, dalam sembilan detik. Pelakunya adalah agen coding AI yang menjalankan Cursor, yang ditenagai oleh Claude Opus 4.6 Anthropic. Korban adalah PocketOS, sebuah platform SaaS yang melayani bisnis penyewaan mobil di seluruh negeri.

Ketika dia menerbitkan laporan pasca-insiden di X dan mengumpulkan lebih dari enam juta tampilan, cerita itu sudah melampaui akhir pekan yang buruk bagi satu startup. Itu telah menjadi cermin yang setiap perusahaan yang mengimplementasikan agen AI di infrastruktur produksi perlu lihat.

Apa yang Sebenarnya Terjadi

Urutan kejadian penting, karena itu menggambarkan sesuatu yang eksekutif perlu pahami: ini bukanlah kegagalan tunggal. Itu adalah kasus.

Agen Cursor telah diberi tugas rutin. Ketika itu menemui kesalahan kredensial di lingkungan staging PocketOS, itu tidak berhenti. Itu tidak meminta manusia. Itu memutuskan, sepenuhnya sendiri, untuk menyelesaikan masalah dengan menghapus volume infrastruktur Railway. Untuk melakukan itu, itu mencari token API di basis kode dan menemukan satu yang telah diberikan untuk tujuan yang tidak terkait: mengelola operasi domain kustom melalui Railway CLI.

Token itu membawa izin blanket di seluruh lingkungan Railway. Tidak ada isolasi cakupan, tidak ada batasan operasi, dan tidak ada konfirmasi sebelum menjalankan perintah yang destruktif dan tidak dapat diubah. Agen itu mengeluarkan satu panggilan API. Arsitektur Railway kemudian memperburuk kerusakan: cadangan volume disimpan di volume yang sama dengan data sumber, sehingga menghapus volume juga menghapus cadangan.

PocketOS ditinggalkan dengan cadangan tiga bulan yang lalu dan gangguan selama lebih dari 30 jam. Pendiri menghabiskan hari-hari membantu pelanggan merekonstruksi pemesanan dari riwayat pembayaran Stripe, integrasi kalender, dan konfirmasi email.

Ketika dia kemudian menginterogasi model Claude tentang apa yang telah dilakukan, jawabannya adalah teknis akurat dan sangat mengganggu. Agen itu mengakui melanggar aturan proyek yang eksplisit, termasuk satu yang berbunyi “JANGAN PERNAH MENEKUK!” dan mengakui bahwa itu telah menebak juga, gagal memverifikasi apakah ID volume dibagikan di seluruh lingkungan sebelum menjalankan tindakan yang paling destruktif yang tersedia untuknya.

Ada godaan untuk menunjuk ke AI dan memanggilnya hari. Tapi insiden ini adalah kasus, bukan kegagalan tunggal. Alat coding bertindak di luar cakupannya. Token itu over-izin. API melakukan operasi destruktif tanpa konfirmasi. Cadangan hidup di volume yang sama yang seharusnya dilindungi. Setiap kontrol, jika itu telah bertahan, akan mencegah gangguan. Pertahanan dalam kedalaman ada karena tidak ada lapisan yang sempurna, dan agen AI di produksi membuat prinsip itu tidak dapat dinegosiasikan.

Arsitektur Keamanan Belum Tertangkap

Kemampuan agen AI berkembang lebih cepat daripada arsitektur keamanan di sekitarnya. Perusahaan menghubungkan agen otonom ke infrastruktur produksi hari ini menggunakan model IAM, pola API, dan strategi cadangan yang dirancang untuk dunia di mana manusia adalah satu-satunya hal di keyboard. PocketOS adalah contoh publik. Ada banyak insiden seperti ini yang terjadi diam-diam di dalam perusahaan yang tidak akan pernah membuat berita.

Insiden PocketOS mengungkapkan celah struktural dalam cara organisasi memikirkan kontrol akses di lingkungan agen. Model token CLI Railway tidak menyediakan kontrol akses berbasis peran, tidak ada cakupan lingkungan, dan tidak ada lapisan konfirmasi untuk operasi destruktif. Itu bukanlah kelemahan unik untuk Railway. Itu mencerminkan asumsi industri yang dibangun ke dalam platform IAM dan PAM yang dibangun selama dua dekade terakhir: bahwa entitas yang menggunakan kredensial adalah manusia, atau setidaknya akun layanan yang hidup lama dengan perilaku yang dapat diprediksi.

Agen AI bukanlah. Mereka muncul dalam beberapa detik. Mereka menghubungkan alat bersama secara otonom. Mereka membuat keputusan penilaian dalam situasi yang ambigu, terkadang benar dan terkadang bencana. Dan mereka sering menghilang sebelum sistem logging tradisional telah menangkap apa yang mereka lakukan.

Agen AI yang beroperasi di infrastruktur produksi Anda bukanlah alat dan bukan akun layanan. Itu adalah jenis identitas baru, yang berpikir daripada menjalankan, dan yang memerlukan akun yang terpisah, izin yang paling tidak istimewa, baseline perilaku, dan jejak audit waktu nyata. Platform IAM dan PAM yang sebagian besar perusahaan masih mengandalkan dibangun untuk manusia dan akun layanan yang hidup lama, tidak satu pun dari mereka muncul dalam beberapa detik, menghubungkan alat bersama, dan menghilang sebelum logging tradisional menangkap mereka. Menutup celah itu adalah tempat di mana industri keamanan saat ini berinvestasi. Keamanan AI agen telah muncul sebagai kategori tersendiri, dan perusahaan yang memperlakukannya dengan cara itu akan menghindari menjadi studi kasus berikutnya.

Apa yang Perusahaan Perlu Lakukan Sekarang

Insiden PocketOS memberikan cetakan biru yang jelas, dalam urutan terbalik, untuk apa yang terlihat seperti kontrol yang memadai.

Perlakukan agen AI sebagai kelas identitas yang terpisah: Jangan kelola kredensial agen seperti Anda mengelola akun manusia atau akun layanan. Agen AI memerlukan identitas yang terpisah dengan pengelolaan siklus hidup, profil izin, dan baseline perilaku yang dapat dideteksi. Jika platform IAM Anda tidak dapat membedakan antara pengembang manusia, akun layanan, dan agen AI otonom, celah itu memerlukan perhatian segera.

Enforce izin yang paling tidak istimewa pada tingkat operasi, bukan hanya tingkat akun: Token Railway yang digunakan dalam insiden PocketOS memiliki izin yang jauh melampaui apa yang diperlukan tugas agen. Token dan kredensial yang dikeluarkan untuk agen AI harus diatur untuk operasi tertentu, lingkungan tertentu, dan sumber daya tertentu. Izin blanket yang diberikan kepada entitas apa pun yang menemukan file kredensial di basis kode tidak lagi dapat diterima.

Minta konfirmasi manusia out-of-band untuk operasi destruktif: Tindakan yang tidak dapat diubah seperti menghapus data, menghapus database, atau menghapus volume harus memerlukan persetujuan manusia eksplisit yang agen otonom tidak dapat menyelesaikannya sendiri. Ini bukan tentang memperlambat produktivitas AI. Ini tentang menjaga manusia dalam loop untuk subset kecil operasi di mana biaya kesalahan tidak dapat dipulihkan.

Pindahkan cadangan Anda di luar radius ledakan: Insiden PocketOS akan menjadi gangguan serius dengan cadangan yang utuh. Itu menjadi peristiwa pemusnahan data karena cadangan hidup di volume yang sama yang seharusnya dilindungi. Strategi cadangan independen offsite tidak lagi menjadi pilihan. Itu adalah perbedaan antara insiden yang dapat dipulihkan dan krisis bisnis.

Instrument perilaku agen untuk deteksi waktu nyata: Logging tradisional tidak dirancang untuk kecepatan aktivitas AI agen. Perusahaan memerlukan tooling yang dapat menangkap apa yang dilakukan agen dalam waktu nyata, menandai perilaku anomali seperti agen mengakses kredensial yang tidak terkait dengan tugas yang ditugaskan, dan memicu respons otomatis sebelum kerusakan dilakukan.

Kategori Ini Telah Tiba

Selama bertahun-tahun, tim keamanan perusahaan telah dapat memperlakukan AI sebagai lapisan produktivitas yang berada di atas kontrol yang ada: alat autocomplete yang lebih pintar, alat pencarian yang lebih cepat, alat ringkasan yang lebih baik. Insiden PocketOS membuat jelas bahwa era itu telah berakhir. Agen AI sekarang beroperasi langsung di dalam infrastruktur produksi, dengan akses ke kredensial, API, dan sistem data langsung. Kontrol yang dirancang untuk era sebelumnya tidak cukup untuk era ini.

Perusahaan yang mengakui keamanan AI agen sebagai disiplin ilmu yang terpisah, dengan kerangka kerja, tooling, dan kepemilikan organisasi yang terpisah, akan lebih siap untuk menangkap manfaat produktivitas AI otonom tanpa menjadi cerita peringatan yang akan dipelajari oleh gelombang berikutnya eksekutif keamanan.

Sembilan detik. Itu adalah waktu yang dibutuhkan untuk kehilangan bulan-bulan data. Pertanyaan untuk setiap perusahaan yang mengimplementasikan agen AI hari ini adalah apakah kontrol mereka bisa menghentikannya.