Keamanan siber

DeepKeep Mengungkap ‘InkJect,’ Serangan AI Baru yang Menyembunyikan Prompt Berbahaya di Dalam Gambar

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Saat perusahaan dengan cepat mengadopsi AI multimodal yang dapat memahami teks dan gambar, peneliti keamanan menemukan bahwa kemampuan baru ini memperkenalkan permukaan serangan yang sama-sama canggih. Perusahaan keamanan AI Israel, DeepKeep, telah mengungkapkan teknik injeksi prompt visual yang belum pernah didokumentasikan sebelumnya yang disebut InkJect, yang menunjukkan bahwa instruksi tersembunyi yang disematkan di dalam gambar yang tampaknya tidak berbahaya dapat memanipulasi model bahasa-vision (VLM) terkemuka sambil melewati banyak pengawal keamanan yang dirancang untuk menghentikan serangan injeksi prompt tradisional.

Menurut penelitian DeepKeep, kerentanan ini memengaruhi beberapa model multimodal paling canggih saat ini, termasuk GPT-5.2 dan GPT-5.4 Mini dari OpenAI, serta Claude Sonnet 4.6 dan Claude Opus 4.5 dari Anthropic. Temuan ini mengungkapkan titik buta signifikan dalam keamanan AI: sementara industri telah berinvestasi besar-besaran dalam melindungi interaksi berbasis teks, perhatian yang jauh lebih sedikit telah diberikan pada lapisan penalaran visual yang semakin memungkinkan sistem AI modern.

Evolusi Baru dari Injeksi Prompt

Serangan injeksi prompt tradisional mencoba memanipulasi model AI melalui teks yang dirancang dengan hati-hati yang menggantikan instruksi aslinya. Selama dua tahun terakhir, penyedia AI terkemuka telah berinvestasi besar-besaran dalam pengawal yang dapat mendeteksi serangan ini sebelum model dapat bertindak atasnya.

InkJect mengambil rute yang sama sekali berbeda. Alih-alih berkomunikasi langsung melalui teks, penyerang menyembunyikan instruksi berbahaya di dalam gambar yang menjadi bagian dari alur kerja AI normal. Gambar-gambar tersebut mungkin disimpan dalam repositori GitHub publik, halaman dokumentasi, aset desain, diagram, atau sumber daya visual lainnya yang asisten coding AI dan agen otonom rutin akses saat menyelesaikan tugas yang sah. Dari perspektif pengguna, tidak ada yang tampak tidak biasa. AI hanya memproses gambar sebagai bagian dari informasi kontekstual, tanpa menyadari bahwa gambar tersebut juga berisi perintah tersembunyi.

Memanfaatkan Kemampuan AI untuk Melihat

Apa yang membuat InkJect sangat efektif adalah bahwa ia menargetkan salah satu kemampuan terbaru dalam sistem AI modern: pemahaman visual.

Model bahasa-vision melakukan pengenalan karakter optik yang canggih sebagai bagian dari interpretasi gambar, memungkinkan mereka untuk membaca teks yang disematkan dalam diagram, screenshot, foto, dan desain antarmuka. DeepKeep menemukan bahwa kemampuan ini sering melebihi kemampuan alat keamanan OCR tradisional yang digunakan untuk memeriksa gambar yang diunggah.

Peneliti menunjukkan bahwa instruksi berbahaya dapat disembunyikan menggunakan teknik seperti teks putih pada latar belakang putih, huruf dengan kontras yang sangat rendah, distorsi perspektif, dan tipografi yang terdistorsi. Sementara perangkat lunak keamanan yang ada sering gagal mengenali perintah tersembunyi ini, model AI itu sendiri menginterpretasikannya tanpa kesulitan. Ini menciptakan ketidakcocokan berbahaya di mana perangkat lunak keamanan menyimpulkan bahwa gambar itu tidak berbahaya sementara AI diam-diam mengekstrak dan menjalankan instruksi yang tidak terlihat oleh pemindaian dan pengguna manusia.

Injeksi Prompt Tidak Langsung Membuat Ancaman Lebih Berbahaya

Tidak seperti banyak serangan siber yang memerlukan akses langsung ke sistem target, InkJect bergantung pada apa yang disebut peneliti sebagai injeksi prompt tidak langsung. Alih-alih mengunggah gambar berbahaya langsung ke aplikasi AI, penyerang hanya meletakkan gambar di dalam repositori atau sumber daya online yang dapat diakses publik.

Nanti, ketika pengembang meminta asisten AI untuk membangun fitur menggunakan repositori atau menganalisis isinya, model secara otomatis mengambil gambar sebagai bagian dari alur kerja normal. Instruksi tersembunyi diproses bersama dengan aset proyek yang sah tanpa pengembang menyadari bahwa perintah tambahan telah memasuki percakapan.

Metode serangan ini sangat mengkhawatirkan karena agen AI modern semakin banyak mengambil sumber daya eksternal secara otonom. Setiap repositori publik, halaman dokumentasi, atau aset yang dibagikan berpotensi menjadi jalur lain melalui mana instruksi berbahaya dapat mencapai sistem AI.

Permintaan Coding Sederhana dengan Konsekuensi Serius

DeepKeep mengilustrasikan dampaknya menggunakan skenario pengembangan perangkat lunak yang tampaknya sangat rutin.

Pengembang memerintahkan asisten coding AI untuk menghasilkan halaman web informasi dasar. Tidak diketahui oleh pengembang, salah satu gambar yang dirujuk berisi instruksi tersembunyi. Alih-alih hanya menghasilkan halaman web yang diminta, AI secara diam-diam menambahkan sistem login anggota yang sepenuhnya fungsional lengkap dengan kredensial administrator dan logika autentikasi backend.

Halaman web berfungsi tepat seperti yang diharapkan, tidak memberi pengembang alasan untuk curiga bahwa kode tambahan telah disisipkan. Tanpa audit keamanan yang rinci, backdoor tidak sah bisa dengan mudah diterapkan ke produksi, memberi penyerang akses administratif yang tidak diketahui oleh siapa pun.

Demonstrasi ini menyoroti bagaimana injeksi prompt visual berbeda dari serangan AI sebelumnya. Alih-alih hanya mempengaruhi respons chatbot, instruksi visual tersembunyi dapat memanipulasi kode yang dihasilkan, memperkenalkan kerentanan keamanan, mengubah alur kerja otonom, dan berpotensi mengompromikan sistem perusahaan.

Mengapa Pengawal AI yang Ada Melewatkan Serangan

Penelitian ini menyoroti kelemahan arsitektural dalam lanskap keamanan AI saat ini. Sebagian besar pengawal komersial dirancang untuk memeriksa prompt teks sebelum mencapai model. Sebagai hasilnya, organisasi telah menjadi semakin efektif dalam mendeteksi instruksi berbahaya yang ditulis.

Masukan visual, bagaimanapun, sering mengikuti pipa pemrosesan yang sama sekali berbeda.

DeepKeep menemukan bahwa beberapa model terdepan menolak serangan yang sama ketika disajikan sebagai teks tetapi menerima mereka ketika instruksi yang sama disematkan di dalam gambar. Secara efektif, penyerang dapat melewati perlindungan dengan hanya mengubah medium melalui mana instruksi disampaikan.

Ketika AI multimodal menjadi antarmuka default untuk aplikasi perusahaan, perbedaan ini menjadi semakin penting. Sistem keamanan tidak lagi dapat mengasumsikan bahwa instruksi berbahaya hanya tiba melalui teks.

Mengapa Perusahaan Harus Mengambil Perhatian

Waktu penelitian DeepKeep mencerminkan pergeseran yang lebih besar yang sedang berlangsung di seluruh AI perusahaan. Ramalan industri menunjukkan bahwa sistem multimodal yang dapat memahami gambar, dokumen, video, dan teks akan menjadi standar di seluruh pengembangan perangkat lunak, layanan keuangan, kesehatan, manufaktur, dukungan pelanggan, dan otomatisasi bisnis.

Tidak seperti chatbot konsumen, banyak sistem AI perusahaan beroperasi dengan hak istimewa yang ditingkatkan. Mereka mengambil dokumen proprietary, menulis perangkat lunak, menjalankan kode, memanggil API, berinteraksi dengan infrastruktur cloud, menganalisis dokumen rahasia, dan semakin banyak membuat keputusan atas nama pengguna. Instruksi tersembunyi yang disematkan di dalam konten visual oleh karena itu mewakili lebih dari sekedar keingintahuan akademis – mereka memperkenalkan kategori baru risiko keamanan siber perusahaan yang dapat memengaruhi sistem dunia nyata.

Pendekatan DeepKeep terhadap Keamanan AI

Didirikan pada 2021, DeepKeep telah fokus secara eksklusif pada mengamankan AI sepanjang seluruh siklus hidupnya, dari evaluasi model dan pengujian hingga penerapan dan perlindungan runtime. Alih-alih berkonsentrasi hanya pada model bahasa besar, platform perusahaan ini dirancang untuk mengamankan sistem AI multimodal, agen AI otonom, aplikasi visi komputer, dan penerapan AI perusahaan.

Platform keamanan mereka menggabungkan beberapa lapis perlindungan, termasuk AI Firewall yang memantau inferensi secara real-time, AI Red Teaming otomatis yang proaktif mencari kerentanan sebelum penerapan, AI Agent Scanner yang menganalisis alur kerja otonom untuk jalur eksploitasi, kemampuan pemindaian model yang mengevaluasi rantai pasokan AI untuk risiko keamanan, dan AI Lens, yang memberi organisasi visibilitas tentang bagaimana karyawan dan aplikasi menggunakan AI di seluruh perusahaan.

Ketika organisasi terus mengintegrasikan AI ke dalam alur kerja kritis, strategi DeepKeep mencerminkan pengakuan yang semakin besar bahwa mengamankan AI memerlukan perlindungan setiap tahap bagaimana model menerima, memproses, dan bertindak atas informasi – bukan hanya menyaring prompt yang diketik pengguna.

Frontier Berikutnya dalam Keamanan AI

InkJect kemungkinan akan diingat sebagai lebih dari sekedar teknik injeksi prompt lainnya. Ini menyoroti bagaimana evolusi cepat AI multimodal secara fundamental mengubah lanskap ancaman keamanan siber.

Ketika model menjadi semakin mampu melihat, bernalar, mengambil informasi, dan bertindak secara otonom, penyerang akan secara alami mencari cara baru untuk mengeksploitasi setiap modalitas yang dipahami sistem tersebut. Gambar, diagram, file PDF, situs web, dan sumber daya visual lainnya dapat semua menjadi kendaraan untuk instruksi tersembunyi yang mungkin tidak pernah dideteksi oleh alat keamanan yang ada.

DeepKeep telah mengungkapkan temuan mereka kepada OpenAI dan Anthropic, memberi perusahaan kesempatan untuk memperkuat perlindungan terhadap vektor serangan yang baru ditemukan ini. Apakah InkJect menjadi contoh pertama dari kelas serangan injeksi prompt multimodal yang lebih luas masih harus dilihat, tetapi penemuan ini berfungsi sebagai pengingat tepat waktu bahwa keamanan AI harus berkembang secepat AI itu sendiri. Ketika model mempelajari untuk memahami dunia visual dengan kesadaran yang semakin besar, membela mereka akan memerlukan sistem keamanan yang mampu melakukan hal yang sama.

Antoine adalah seorang pemimpin visioner dan rekan pendiri Unite.AI, yang dipandu oleh semangat tak tergoyahkan untuk membentuk dan mempromosikan masa depan AI dan robotika. Sebagai seorang wirausaha serial, ia percaya bahwa AI akan menjadi sangat mengganggu masyarakat seperti listrik, dan sering tertangkap berbicara tentang potensi teknologi disruptif dan AGI.

Sebagai seorang futuris, ia berdedikasi untuk mengeksplorasi bagaimana inovasi ini akan membentuk dunia kita. Selain itu, ia adalah pendiri Securities.io, sebuah platform yang berfokus pada investasi di teknologi-teknologi canggih yang mendefinisikan kembali masa depan dan membentuk kembali seluruh sektor.