Pemimpin pemikiran

Tumpukan AI Dikompromikan oleh Desain

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Empat kegagalan. Empat lapisan. Arsitektur itu sendiri adalah kerentanan.

Dalam sebuah episode podcast Hard Fork dari New York Times pada 10 April 2026, dibahas tentang implikasi keamanan siber dari sistem AI canggih dan menimbulkan pertanyaan yang telah dihindari industri: apa jika keamanan siber tidak berkinerja buruk, tetapi secara fundamental salah kerangka?

Episode itu disiarkan beberapa minggu setelah serangkaian insiden yang membuat jawabannya sulit untuk diabaikan. Dalam satu bulan, sebuah agen AI otonom melanggar platform AI internal McKinsey dalam dua jam. Serangan rantai pasokan pada perpustakaan AI sumber terbuka yang banyak digunakan berlanjut ke perusahaan huluan. Peneliti menunjukkan bahwa perangkat keras yang dimaksudkan sebagai garis pertahanan terakhir dapat dipecah dengan komponen yang tersedia di pasaran dengan biaya kurang dari seribu dolar. Dan Anthropic mengungkapkan bahwa model frontier telah menemukan ribuan kerentanan zero-day di kode yang dianggap stabil oleh industri.

Empat insiden. Empat lapisan tumpukan AI: aplikasi, orkestrasi, perangkat keras, dan sistem operasi. Setiap insiden mengungkapkan keterbatasan yang signifikan dalam kontrol yang dirancang untuk melindungi mereka.

Akhir dari Pemikiran Perimeter

Keamanan siber tradisional beristirahat pada satu premis: dengan kontrol yang cukup, pemantauan, dan investasi, sistem dapat diamankan. Premis itu membentuk dekade arsitektur, termasuk firewall, manajemen identitas, keamanan titik akhir, dan platform SIEM, semua dibangun berdasarkan ide bahwa visibilitas dan manajemen yang ketat sama dengan keamanan.

Pergeseran industri menuju Arsitektur Zero Trust mencerminkan pengakuan yang tumbuh bahwa batas jaringan tradisional tidak lagi dapat dianggap tepercaya. Namun, bahkan ketika model kepercayaan berevolusi, sistem AI memperkenalkan tantangan yang berbeda: data sensitif secara teratur diagregasi, diproses, dan dibagikan di seluruh lapisan infrastruktur.

Pendekatan itu masuk akal ketika sistem relatif terpusat dan data tetap dalam batas yang jelas. Ini menjadi kurang efektif ketika data bergerak terus-menerus di seluruh awan, API, vendor pihak ketiga, dan pipa AI, sementara pengguna dan sumber daya komputasi didistribusikan secara global. Perimeter tidak lagi merupakan batas. Ini adalah permukaan yang terus berubah, dan kita masih menerapkan pemikiran berbasis kontrol pada sistem yang tidak dapat secara realistis dikontrol.

Kegagalan Lapisan Aplikasi: Lilli McKinsey

Pada 9 Maret 2026, startup keamanan CodeWall menerbitkan pengungkapan yang menyoroti risiko yang dihadapi organisasi yang menggelar AI secara internal. .

Agen ofensif otonom CodeWall, tanpa kredensial, tanpa pengetahuan insider, dan tanpa bimbingan manusia, mencapai akses baca dan tulis ke database produksi di balik Lilli, platform AI internal McKinsey, dalam waktu kurang dari dua jam. Lilli digunakan oleh lebih dari 40.000 karyawan untuk pekerjaan strategis, penelitian klien, dan analisis dokumen, menghasilkan ratusan ribu prompt per bulan.

Titik masuknya tidak canggih. Agen menemukan dokumentasi API yang dipublikasikan yang mencantumkan lebih dari 200 titik akhir, 22 di antaranya tidak memerlukan autentikasi. Kerentanan yang terlibat mencerminkan risiko yang disoroti dalam OWASP Top 10 untuk Aplikasi LLM, terutama sekitar antarmuka yang terbuka, integrasi yang tidak aman, dan kepercayaan berlebihan pada sistem terhubung.

Salah satu titik akhir tersebut mengandung kerentanan injeksi SQL yang tersembunyi dalam nama bidang JSON daripada nilai input, di mana sebagian besar pemindai otomatis mencari. Dari sana, agen melakukan injeksi SQL buta sampai data produksi menjadi dapat diakses.

Apa yang diaksesnya: puluhan juta pesan obrolan dalam teks biasa, ratusan ribu file, puluhan ribu akun pengguna, dan jutaan potongan dokumen RAG yang mewakili tahun-tahun penelitian proprietary. Ini juga mengidentifikasi prompt sistem yang mengatur bagaimana Lilli berperilaku untuk setiap pengguna.

Temuan yang paling mengkhawatirkan bukanlah volume. Ini adalah bahwa prompt sistem tersebut dapat ditulis ulang. Seorang penyerang dapat dengan diam-diam menulis ulang instruksi yang mengatur output Lilli, meracuni saran strategis, memasukkan data rahasia ke dalam respons, atau menghapus pengaman sepenuhnya, dengan hanya satu pembaruan database. Tidak ada penerapan. Tidak ada perubahan kode. Tidak ada jejak dalam log aplikasi.

Dalam sebuah pernyataan publik, McKinsey mengatakan bahwa mereka telah memperbaiki masalah tersebut dalam beberapa jam dan, setelah penyelidikan oleh perusahaan forensik pihak ketiga, tidak menemukan bukti bahwa data rahasia klien diakses. Tanggapan itu penting. Namun, itu tidak mengubah pelajaran struktural: kelas kerentanan yang sudah ada selama dua dekade mengungkapkan memori operasional dari sistem AI modern karena data di baliknya ada dalam bentuk yang dapat dibaca.

Kegagalan Lapisan Orkestrasi: Serangan LiteLLM

Tiga minggu kemudian, pola yang sama muncul dari sudut yang berbeda, dan melalui lapisan yang berbeda.

LiteLLM adalah gerbang AI sumber terbuka yang digunakan oleh ribuan perusahaan untuk mengarahkan permintaan di seluruh penyedia AI. Posisinya di tumpukan sangat kritis: ini duduk di lapisan orkestrasi, memegang kunci API untuk setiap penyedia yang terhubung. Setiap kompromi pada lapisan ini mengungkapkan kunci di seluruh layanan terintegrasi.

Menurut laporan insiden PyPI, kelompok ancaman TeamPCP mengeksploitasi kunci yang terkait dengan ketergantungan dalam pipa CI/CD LiteLLM dan menggunakan akses pemelihara untuk menerbitkan dua versi LiteLLM yang berbahaya langsung ke PyPI. . Versi yang terkontaminasi tersebut hidup selama kurang dari satu jam sebelum dihapus. Operasi tersebut hanya ditemukan karena malware yang mengandung bug yang menghancurkan mesin peneliti.

Rantai pasokan adalah vektor. Lapisan orkestrasi adalah target. Dengan mengompromikan satu ketergantungan di hulu, penyerang mencapai lapisan di mana kunci penyedia di setiap perusahaan hilir hidup.

Tim LiteLLM kemudian merinci insiden dan upaya mitigasi dalam pengungkapan GitHub publik.

Radius ledakan menjadi terlihat hampir seketika. TechCrunch, Fortune, dan The Register melaporkan bahwa Mercor, sebuah startup rekrutmen AI senilai $10 miliar yang bekerja dengan perusahaan seperti OpenAI, Anthropic, Meta, dan Google, adalah salah satu organisasi yang terkena. Penyerang mengklaim telah mendapatkan volume data yang besar, termasuk profil kandidat, informasi yang dapat diidentifikasi secara pribadi, wawancara video kontraktor, kode sumber, dan kunci API. Meta menjeda kerja dengan Mercor hingga penyelidikan selesai. Pelaporan selanjutnya menunjukkan pola malware yang sama muncul di alat pengembang dan paket lain, menunjukkan bahwa operasi tersebut mungkin meluas di luar satu proyek.

Insiden LiteLLM bukanlah anomali. Ini adalah sistem yang berperilaku sesuai desain. Setiap komponen dalam pipa AI memerlukan akses ke data yang dapat digunakan untuk berfungsi, yang berarti setiap komponen juga merupakan titik ekstraksi potensial. Menambatkan ketergantungan dan memutar kunci adalah respons yang diperlukan, tetapi mereka menangani insiden, bukan arsitektur.

Kegagalan Lapisan Perangkat Keras: TEE.fail

Jika pelanggaran McKinsey menunjukkan bahwa lapisan aplikasi tidak dapat dipercaya, dan serangan LiteLLM menunjukkan bahwa rantai pasokan tidak dapat dipercaya, penelitian TEE.fail menunjukkan bahwa perangkat keras yang dimaksudkan untuk mengkompensasi keduanya juga tidak dapat sepenuhnya dipercaya.

Pada 28 Oktober 2025, peneliti dari Georgia Tech, Purdue University, dan Synkhronix menerbitkan TEE.fail, serangan saluran samping yang mengekstrak kunci kriptografis dari Lingkungan Eksekusi Tepercaya menggunakan interposisi bus memori fisik pada server DDR5. Serangan ini memengaruhi Intel SGX, Intel TDX, dan AMD SEV-SNP, termasuk pada sistem yang sepenuhnya diperbarui dan memiliki status tepercaya dengan Ciphertext Hiding AMD yang diaktifkan. Ini adalah teknologi yang secara luas dipromosikan sebagai dasar komputasi tepercaya.

Peneliti mengekstrak kunci pengesahan: material kriptografis yang digunakan untuk memverifikasi bahwa beban kerja berjalan di dalam lingkungan yang aman. Dengan kunci tersebut, sistem yang dikompromikan dapat mempresentasikan diri sebagai tepercaya sementara beroperasi di luar perlindungan yang diharapkan. Peneliti mendemonstrasikan ini secara langsung: mereka memalsukan pengesahan TDX pada BuilderNet Ethereum untuk mengakses data transaksi tepercaya, dan memalsukan pengesahan Intel dan NVIDIA untuk menjalankan beban kerja di luar TEE sambil tampak sah.

Implikasi NVIDIA penting secara khusus untuk AI. Karena pengesahan GPU bergantung pada pengesahan CPU, rantai kepercayaan CPU yang dikompromikan dapat melemahkan jaminan yang diberikan oleh lingkungan inferensi AI tepercaya. Dasar perangkat keras dari lingkungan inferensi AI tepercaya, dalam model ancaman ini, bergantung pada TEE CPU yang telah terbukti rusak.

Pengembang perangkat keras merespons dengan advis formal. AMD menyatakan bahwa serangan akses fisik berada di luar model ancaman standar dan menunjukkan bahwa mereka tidak akan menerbitkan pembaruan firmware. Intel dan NVIDIA mengakui temuan dan menunjukkan pekerjaan mitigasi yang sedang berlangsung. Respons ini masuk akal dalam model ancaman mereka. Mereka juga menyoroti batasan penting: jaminan keamanan berbasis perangkat keras bergantung pada asumsi, termasuk kontrol fisik, yang penerapan berdaulat, teratur, dan menghadapi lawan tidak selalu dapat dibuat.

TEE.fail tidak membuat isolasi perangkat keras menjadi tidak relevan. Ini menunjukkan bahwa itu bersyarat.

Kegagalan Lapisan Sistem Operasi: Pengungkapan Mythos

Jika tiga insiden pertama mempertanyakan lapisan aplikasi, lapisan orkestrasi, dan lapisan perangkat keras, pengungkapan keempat pada April 2026 mempertanyakan lapisan di bawah semuanya: sistem operasi dan perpustakaan inti yang berjalan di atasnya.

Pada 7 April 2026, Anthropic mengumumkan Pratinjau Mythos Claude, model frontier yang mereka tolak untuk dirilis secara publik karena kemampuan keamanan ofensif, dan meluncurkan Proyek Glasswing, konsorsium dengan AWS, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, Linux Foundation, Microsoft, NVIDIA, dan Palo Alto Networks. Anthropic melaporkan bahwa, dalam beberapa minggu, Mythos telah mengidentifikasi secara otonom ribuan kerentanan yang tidak diketahui sebelumnya di seluruh sistem operasi utama dan peramban web dan mampu menghasilkan eksploitasi yang berfungsi untuk banyak di antaranya.

Temuan spesifik lebih sulit untuk diabaikan daripada ringkasan. Sebuah bug 27 tahun di OpenBSD. Sebuah kerentanan eksekusi kode jarak jauh 17 tahun di server NFS FreeBSD, sekarang dilacak sebagai CVE-2026-4747, yang memberikan akses root kepada penyerang yang tidak diauthentikasi. Sebuah kerentanan 16 tahun di FFmpeg, salah satu perpustakaan media yang paling banyak digunakan di internet. Dalam satu kasus, seorang insinyur Anthropic tanpa pelatihan keamanan formal meminta model untuk mencari kerentanan eksekusi kode jarak jauh semalaman dan bangun dengan eksploitasi yang lengkap.

Ini adalah temuan tingkat sistem operasi. OpenBSD dan FreeBSD adalah kernel. NFS adalah subsistem jaringan kernel. FFmpeg adalah perpustakaan sistem yang dikirimkan dengan sebagian besar distribusi Linux dan mendukung pipa media di seluruh internet. Lapisan sistem operasi dianggap aman bukan karena telah terbukti aman, tetapi karena menemukan kerentanan yang mendalam di dalamnya memerlukan keahlian manusia yang langka dan mahal. Asumsi itu adalah heuristik terbaik yang tersedia. Ini tidak pernah menjadi jaminan.

Asumsi itu sekarang longgar. Anthropic sendiri membingkai ini sebagai pergeseran dual-use: kemampuan yang sama yang memungkinkan model frontier untuk menemukan dan memperbaiki kerentanan dalam skala juga memungkinkan, di tangan yang salah, untuk menemukan dan mengeksploitasi mereka dalam skala. Keputusan Anthropic untuk membatasi akses melalui Proyek Glasswing mencerminkan kenyataan itu. Ini tidak menyelesaikannya. Kemampuan serupa akan, menurut penilaian perusahaan, berkembang biak. Biaya audit kode legacy telah runtuh, dan dengan itu, pertahanan implisit bahwa kode tersebut terlalu tidak jelas, terlalu lama, atau terlalu banyak ditinjau untuk masih mengandung kerentanan kritis.

Ini juga tempat keempat insiden saling terkait. Lapisan perangkat keras yang melindungi komputasi tepercaya tidak berjalan dalam isolasi. Mereka berjalan sebagai kode kernel. Intel TDX berjalan di kernel. Pengemudi GPU NVIDIA berjalan sebagai modul kernel. Rantai pengesahan TEE CPU bergantung pada sistem operasi yang tepercaya untuk melaporkan dengan setia apa yang sedang dilakukan. Jika lapisan sistem operasi di bawah TEE Anda memiliki kerentanan laten selama beberapa dekade, dan model frontier dapat menemukannya dengan kecepatan mesin, maka keamanan bersyarat lapisan perangkat keras bergantung pada lapisan sistem operasi yang jaminan keamanannya baru saja diperlemah oleh siklus pengungkapan yang sama.

Ketiga insiden sebelumnya menggambarkan bagaimana sistem AI dilanggar saat ini. Mythos menggambarkan tingkat di mana segala sesuatu di bawahnya, termasuk sistem operasi, modul kernel, dan perpustakaan sistem, akan segera diaudit ulang oleh mesin. Pelanggaran McKinsey mengeksploitasi kelas kerentanan injeksi SQL yang telah ada selama lebih dari dua dekade. Kerentanan dari jenis itu adalah apa yang model dalam kelas Mythos secara nyata dapat temukan dalam skala industri.

Polanya

Dalam setiap kasus, data ada dalam teks biasa pada saat itu penting.

Lapisan aplikasi memprosesnya dengan jelas. Lapisan orkestrasi mengarahkannya dengan jelas. Lapisan perangkat keras, meskipun dengan perlindungannya, pada akhirnya memerlukan dekripsi pada titik eksekusi. Lapisan sistem operasi di bawah ketiganya beroperasi padanya dengan jelas oleh definisi. Empat lapisan, empat kegagalan, dan di setiap lapisan kondisi yang sama berlaku: ketika pelanggaran terjadi, data dapat dibaca.

Ini bukanlah kumpulan kegagalan yang terisolasi. Ini adalah arsitektur itu sendiri.

Sistem AI modern dirancang untuk beroperasi pada data yang dapat dibaca. Setiap lapisan, termasuk pengambilan, pengarahan, inferensi, dan eksekusi alat, memerlukan akses teks biasa untuk berfungsi. Pilihan desain itu berarti setiap pelanggaran di setiap lapisan mengungkapkan data di baliknya.

Pertanyaannya bukanlah apakah lapisan akan dikompromikan. Ini adalah apa yang ditemukan penyerang ketika itu terjadi.

Dari Asumsi Pelanggaran ke Nol Paparan

Industri telah mulai bergeser dari “hindari pelanggaran” ke “asumsi pelanggaran.” Namun, sebagian besar arsitektur belum mengikuti implikasi.

Jika pelanggaran tidak dapat dihindari, maka pertanyaan yang sebenarnya bukanlah bagaimana mencegah penyerang masuk. Ini adalah apa yang terjadi ketika mereka masuk. Saat ini, jawabannya sederhana: mereka mendapatkan data. Karena meskipun semua investasi dalam infrastruktur keamanan, data masih terbuka pada saat yang tepat menjadi berharga, ketika sedang digunakan.

Respon industri telah dapat diprediksi: lebih banyak pemantauan, deteksi yang lebih cepat, lapisan tambahan komputasi tepercaya. Ini adalah perbaikan. Namun, mereka tidak menyelesaikan masalah inti. Mereka masih mengasumsikan bahwa beberapa lapisan — baik perangkat lunak, perangkat keras, atau operasional — dapat dipercaya untuk menjaga teks biasa aman.

Alternatifnya adalah menghilangkan teks biasa sepenuhnya. Bukan untuk mengamankan lapisan di sekitar data, tetapi untuk membuat data itu sendiri tidak dapat diakses oleh siapa pun yang mencapainya. Komputasi pada data terenkripsi, di mana prompt, bobot model, dan output tetap terenkripsi sepanjang pipa, mengatasi paparan yang dieksploitasi oleh insiden ini.

Perkembangan enkripsi homomorfik penuh dan teknik komputasi yang menjaga privasi lainnya mulai membuat arsitektur yang meminimalkan atau menghilangkan paparan teks biasa menjadi praktis untuk beban kerja AI dunia nyata. Meskipun tantangan kinerja, skalabilitas, dan implementasi yang signifikan masih ada, tujuannya secara fundamental berbeda dari kontrol keamanan tradisional: mengurangi nilai dari pelanggaran yang sukses daripada hanya membuat pelanggaran kurang mungkin.

Perubahan ini bukan dari satu alat keamanan ke alat lain. Ini adalah dari mengamankan sistem ke mengurangi paparan. Dari infrastruktur tepercaya ke data tanpa kepercayaan. Dari mengelola risiko ke meminimalkan permukaan serangan itu sendiri.

Apa yang Datang Selanjutnya

Diskusi Hard Fork memunculkan pertanyaan apakah keamanan siber secara fundamental salah kerangka. Bukti dari beberapa minggu terakhir menunjukkan bahwa jawabannya adalah ya, setidaknya untuk AI.

Model lama mengasumsikan bahwa sistem dapat diamankan, pelanggaran dapat dikandung, dan paparan dapat dikelola. Kenyataan yang muncul adalah bahwa pelanggaran harus diasumsikan dan paparan diminimalkan. Insiden yang digambarkan di sini menunjukkan bahwa mengamankan sistem AI mungkin semakin bergantung pada mengurangi jumlah data sensitif yang tersedia ketika kontrol gagal.

Kerentanan yang terbuka di seluruh empat insiden ini tidak terbatas pada satu lapisan. Mereka adalah sistemik. Mengatasi mereka akan memerlukan lebih dari perbaikan inkremental. Ini akan memerlukan pergeseran dari mengamankan sistem ke mengurangi paparan, dari mempertahankan perimeter di sekitar data ke menghilangkan teks biasa yang perimeter dibangun untuk melindungi.

Keamanan AI tidak lagi tentang mencegah penyerang masuk. Ini tentang memastikan bahwa ketika mereka masuk, dan mereka akan, tidak ada yang dapat dibaca untuk ditemukan.

Luigi Caramico, seorang veteran di industri perlindungan data, telah berada di garis depan inovasi keamanan siber selama lebih dari dua dekade. Sebagai co-founder dan CTO dari DataKrypto, Caramico mempelopori era baru keamanan data dengan teknologi enkripsi homomorfik penuh (FHE) yang berjanji untuk merevolusi cara organisasi melindungi informasi paling sensitif mereka di era AI.