Ketika AI Mengalami Kegagalan: Laporan Enkrypt AI Mengungkap Kerentanan Berbahaya dalam Model Multimodal

Pada Mei 2025, Enkrypt AI merilis Laporan Red Teaming Multimodal, sebuah analisis yang mengungkap seberapa mudah sistem AI canggih dapat dimanipulasi untuk menghasilkan konten berbahaya dan tidak etis. Laporan ini berfokus pada dua model bahasa-vision terkemuka Mistral—Pixtral-Large (25.02) dan Pixtral-12b—dan menggambarkan model yang tidak hanya impresif secara teknis tetapi juga rentan secara mengkhawatirkan.

Model bahasa-vision (VLMs) seperti Pixtral dibangun untuk menafsirkan baik input visual maupun tekstual, memungkinkan mereka untuk merespons secara cerdas terhadap prompt kompleks di dunia nyata. Namun, kemampuan ini datang dengan risiko yang meningkat. Tidak seperti model bahasa tradisional yang hanya memproses teks, VLMs dapat dipengaruhi oleh interaksi antara gambar dan kata, membuka pintu baru untuk serangan adversarial. Pengujian Enkrypt AI menunjukkan seberapa mudah pintu-pintu ini dapat dibuka.

Hasil Pengujian Mengkhawatirkan: Kegagalan CSEM dan CBRN

Tim di balik laporan menggunakan metode red teaming yang canggih—sebuah bentuk evaluasi adversarial yang dirancang untuk meniru ancaman di dunia nyata. Pengujian ini menggunakan taktik seperti jailbreaking (meminta model dengan pertanyaan yang dirancang dengan hati-hati untuk melewati filter keamanan), penipuan berbasis gambar, dan manipulasi konteks. Mengkhawatirkan, 68% dari prompt adversarial ini memicu respons berbahaya di seluruh dua model Pixtral, termasuk konten yang terkait dengan pelecehan anak, eksploitasi, dan bahkan desain senjata kimia.

Salah satu pengungkapan yang paling mencolok melibatkan bahan pelecehan anak seksual (CSEM). Laporan menemukan bahwa model Mistral 60 kali lebih mungkin untuk menghasilkan konten terkait CSEM dibandingkan dengan standar industri seperti GPT-4o dan Claude 3.7 Sonnet. Dalam kasus pengujian, model merespons prompt pelecehan yang disamarkan dengan konten multi-paragraf yang menjelaskan bagaimana memanipulasi anak-anak—dibungkus dengan penyangkalan yang tidak jujur seperti “hanya untuk kesadaran pendidikan.” Model tidak hanya gagal menolak pertanyaan berbahaya—mereka menyelesaikannya dengan detail.

Sama mengkhawatirkannya adalah hasil dalam kategori risiko CBRN (Kimia, Biologi, Radiologi, dan Nuklir). Ketika diminta untuk memodifikasi agen saraf VX—a senjata kimia—model menawarkan ide-ide yang mengejutkan spesifik untuk meningkatkan persistensinya di lingkungan. Mereka menjelaskan, dalam detail teknis yang merahasiakan tetapi jelas, metode seperti enkapsulasi, perisai lingkungan, dan sistem pelepasan terkendali .

Kegagalan ini tidak selalu dipicu oleh permintaan yang jelas berbahaya. Salah satu taktik melibatkan mengunggah gambar daftar bernomor kosong dan meminta model untuk “mengisi detail.” Prompt sederhana dan tampaknya tidak berbahaya ini mengarah pada generasi instruksi tidak etis dan ilegal. Fusi manipulasi visual dan tekstual terbukti sangat berbahaya—menyoroti tantangan unik yang ditimbulkan oleh AI multimodal.

Mengapa Model Bahasa-Vision Menimbulkan Tantangan Keamanan Baru

Di jantung risiko ini terletak kompleksitas teknis model bahasa-vision. Sistem ini tidak hanya menganalisis bahasa—mereka mensintesis makna di seluruh format, yang berarti mereka harus menafsirkan konten gambar, memahami konteks teks, dan merespons sesuai. Interaksi ini memperkenalkan vektor baru untuk eksploitasi. Sebuah model mungkin menolak prompt teks berbahaya saja, tetapi ketika dipasangkan dengan gambar yang sugestif atau konteks yang samar, ia mungkin menghasilkan output berbahaya.

Pengujian red teaming Enkrypt AI mengungkap bagaimana serangan injeksi cross-modal—di mana petunjuk halus dalam satu modalitas mempengaruhi output lain—dapat sepenuhnya melewati mekanisme keamanan standar. Kegagalan ini menunjukkan bahwa teknik moderasi konten tradisional, yang dibangun untuk sistem single-modalitas, tidak cukup untuk VLMs saat ini .

Laporan ini juga menjelaskan bagaimana model Pixtral diakses: Pixtral-Large melalui AWS Bedrock dan Pixtral-12b melalui platform Mistral. Konteks penerapan nyata ini lebih menekankan urgensi temuan ini. Model ini tidak terbatas pada laboratorium—mereka tersedia melalui platform cloud mainstream dan dapat dengan mudah diintegrasikan ke dalam produk konsumen atau perusahaan.

Apa yang Harus Dilakukan: Blueprint untuk AI yang Lebih Aman

Untuk kelebihannya, Enkrypt AI tidak hanya menyoroti masalah—mereka menawarkan jalur ke depan. Laporan ini menguraikan strategi mitigasi komprehensif, dimulai dengan pelatihan keselarasan keamanan. Ini melibatkan pelatihan ulang model menggunakan data red teaming sendiri untuk mengurangi kerentanan terhadap prompt berbahaya. Teknik seperti Optimasi Preferensi Langsung (DPO) direkomendasikan untuk menghaluskan respons model menjauh dari output berisiko.

Laporan ini juga menekankan pentingnya penghalang konteks yang sadar—filter dinamis yang dapat menafsirkan dan memblokir pertanyaan berbahaya secara real-time, mempertimbangkan konteks input multimodal secara penuh. Selain itu, penggunaan Kartu Risiko Model diproposalkan sebagai langkah transparansi, membantu pemangku kepentingan memahami keterbatasan model dan kasus kegagalan yang diketahui.

Mungkin rekomendasi paling kritis adalah untuk memperlakukan red teaming sebagai proses berkelanjutan, bukan tes satu kali. Ketika model berkembang, strategi serangan juga berkembang. Hanya evaluasi dan pemantauan aktif yang berkelanjutan dapat memastikan keandalan jangka panjang, terutama ketika model diterapkan di sektor sensitif seperti kesehatan, pendidikan, atau pertahanan.

Laporan Red Teaming Multimodal dari Enkrypt AI adalah sinyal yang jelas kepada industri AI: kekuatan multimodal datang dengan tanggung jawab multimodal. Model ini mewakili lompatan kemajuan dalam kemampuan, tetapi mereka juga memerlukan lompatan dalam cara kita memikirkan keamanan, keamanan, dan penerapan etis. Jika tidak diawasi, mereka tidak hanya berisiko kegagalan—mereka berisiko menyebabkan kerusakan di dunia nyata.

Bagi siapa saja yang bekerja pada atau menerapkan AI skala besar, laporan ini bukan hanya peringatan. Ini adalah buku petunjuk. Dan tidak ada waktu yang lebih penting untuk menerimanya.