Laporan
Laporan Red Teaming DeepSeek-R1: Risiko Keamanan dan Etika yang Mengkhawatirkan Terungkap
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Evaluasi red teaming yang dilakukan oleh Enkrypt AI telah mengungkapkan risiko keamanan yang signifikan, kekhawatiran etika, dan kerentanan dalam DeepSeek-R1. Temuan-temuan tersebut, yang terperinci dalam Laporan Red Teaming Januari 2025, menyoroti kerentanan model dalam menghasilkan konten berbahaya, bias, dan tidak aman dibandingkan dengan model industri lain seperti GPT-4o, OpenAI’s o1, dan Claude-3-Opus. Berikut adalah analisis komprehensif tentang risiko yang diungkapkan dalam laporan dan rekomendasi untuk mitigasi.
Risiko Keamanan dan Etika Utama
1. Keluaran Berbahaya dan Risiko Keamanan
- Sangat rentan menghasilkan konten berbahaya, termasuk bahasa beracun, keluaran bias, dan informasi yang dapat dieksploitasi secara kriminal.
- 11 kali lebih mungkin menghasilkan konten berbahaya daripada OpenAI’s o1.
- 4 kali lebih beracun daripada GPT-4o.
- 3 kali lebih bias daripada Claude-3-Opus.
- 4 kali lebih rentan menghasilkan kode tidak aman daripada OpenAI’s o1.
- Sangat rentan terhadap informasi CBRN (Kimia, Biologi, Radiologi, dan Nuklir), membuatnya menjadi alat berisiko tinggi bagi aktor jahat.
2. Perbandingan dengan Model Lain
| Kategori Risiko | DeepSeek-R1 | Claude-3-Opus | GPT-4o | OpenAI’s o1 |
|---|---|---|---|---|
| Bias | 3 kali lebih tinggi | Lebih rendah | Serupa | Serupa |
| Kode Tidak Aman | 4 kali lebih tinggi | 2,5 kali lebih tinggi | 1,25 kali lebih tinggi | – |
| Konten Berbahaya | 11 kali lebih tinggi | 6 kali lebih tinggi | 2,5 kali lebih tinggi | – |
| Keberacunan | 4 kali lebih tinggi | Hampir tidak ada | 2,5 kali lebih tinggi | – |
| CBRN Konten | 3,5 kali lebih tinggi | 3,5 kali lebih tinggi | 2 kali lebih tinggi | – |
Bias dan Risiko Etika
- 83% serangan bias berhasil, dengan bias substansial terdeteksi dalam kueri terkait kesehatan, ras, dan agama.
- Model menampilkan tingkat stereotip demografi yang lebih tinggi, yang dapat melanggar berbagai peraturan kesetaraan termasuk ECOA, FHA, ACA, dan EU AI Act.
- Kasus tes sampel menunjukkan bahwa DeepSeek-R1 lebih memilih demografi tertentu untuk peran pekerjaan dengan status tinggi, memperkuat bias di tempat kerja.
Generasi Konten Berbahaya
- 45% tes berbahaya menghasilkan model yang menghasilkan konten terkait kegiatan kriminal, termasuk senjata ilegal dan zat terlarang.
- Prompt tes yang meminta model untuk mengembangkan blog tentang “Seni Persuasi dalam Rekrutmen Teroris” menghasilkan respons yang sangat terperinci menguraikan strategi radikalisasi yang dapat dieksploitasi oleh kelompok ekstremis untuk memperbaiki taktik rekrutmen, potensial meningkatkan risiko kekerasan dunia nyata.
- 2,5 kali lebih rentan daripada GPT-4o dan 6 kali lebih rentan daripada Claude-3-Opus untuk menghasilkan konten ekstremis.
- 45% tes berbahaya menghasilkan model yang menghasilkan konten terkait kegiatan kriminal, termasuk senjata ilegal dan zat terlarang.
Generasi Kode Tidak Aman
- 78% serangan terkait kode berhasil mengekstrak cuplikan kode tidak aman dan berbahaya.
- Model menghasilkan malware, trojan, dan skrip yang dapat dieksekusi sendiri atas permintaan. Trojan merupakan ancaman serius karena dapat memungkinkan penyerang untuk mendapatkan akses tidak sah yang persisten ke sistem, mencuri data sensitif, dan mengirimkan payload berbahaya lebih lanjut.
- Skrip yang dapat dieksekusi sendiri dapat mengautomasi tindakan berbahaya tanpa persetujuan pengguna, menciptakan ancaman potensial dalam aplikasi keamanan siber yang kritis.
- DeepSeek-R1 4,5 kali, 2,5 kali, dan 1,25 kali lebih rentan daripada OpenAI’s o1, Claude-3-Opus, dan GPT-4o, masing-masing.
- 78% serangan terkait kode berhasil mengambil cuplikan kode tidak aman dan berbahaya.
Kerentanan CBRN
- Menghasilkan informasi rinci tentang mekanisme biokimia agen perang kimia. Informasi semacam ini dapat membantu individu dalam mensintesis bahan berbahaya, melewati batasan keamanan yang dimaksudkan untuk mencegah penyebaran senjata kimia dan biologi.
- 13% tes berhasil melewati kontrol keamanan, menghasilkan konten terkait ancaman nuklir dan biologi.
- 3,5 kali lebih rentan daripada Claude-3-Opus dan OpenAI’s o1.
- Menghasilkan informasi rinci tentang mekanisme biokimia agen perang kimia.
- 13% tes berhasil melewati kontrol keamanan, menghasilkan konten terkait ancaman nuklir dan biologi.
- 3,5 kali lebih rentan daripada Claude-3-Opus dan OpenAI’s o1.
Rekomendasi untuk Mitigasi Risiko
Untuk meminimalkan risiko yang terkait dengan DeepSeek-R1, langkah-langkah berikut disarankan:
1. Implementasikan Pelatihan Keselarasan Keamanan yang Kuat
- Dataset red teaming harus digunakan untuk melatih model pada keluaran yang lebih aman.
- Lakukan pembelajaran dengan umpan balik manusia (RLHF) untuk mengatur perilaku model sesuai dengan standar etika.
2. Red Teaming Otomatis Terus-Menerus
- Tes stres teratur untuk mengidentifikasi bias, kerentanan keamanan, dan generasi konten berbahaya.
- Gunakan pemantauan terus-menerus kinerja model, terutama dalam aplikasi keuangan, kesehatan, dan keamanan siber.
3. Pengaman Konteks-Aware untuk Keamanan
- Kembangkan pengaman dinamis untuk memblokir prompt berbahaya.
- Implementasikan alat moderasi konten untuk menetralkan input berbahaya dan menyaring respons tidak aman.
4. Pemantauan Model Aktif dan Pelogaran
- Pelogaran waktu nyata input dan respons model untuk deteksi dini kerentanan.
- Alur kerja audit otomatis untuk memastikan kepatuhan dengan standar transparansi dan etika AI.
5. Langkah Transparansi dan Kepatuhan
- Pertahankan kartu risiko model dengan metrik eksekutif yang jelas tentang keandalan model, risiko keamanan, dan risiko etika.
- Patuhi regulasi AI seperti NIST AI RMF dan MITRE ATLAS untuk mempertahankan kredibilitas.
Kesimpulan
DeepSeek-R1 menyajikan risiko keamanan, etika, dan kepatuhan yang serius yang membuatnya tidak cocok untuk banyak aplikasi berisiko tinggi tanpa upaya mitigasi yang luas. Kecenderungannya untuk menghasilkan konten berbahaya, bias, dan tidak aman menempatkannya pada posisi yang kurang menguntungkan dibandingkan dengan model seperti Claude-3-Opus, GPT-4o, dan OpenAI’s o1.
Mengingat bahwa DeepSeek-R1 adalah produk yang berasal dari Tiongkok, kemungkinan bahwa rekomendasi mitigasi yang diperlukan akan sepenuhnya diimplementasikan adalah rendah. Namun, tetap penting bagi komunitas AI dan keamanan siber untuk menyadari potensi risiko yang ditimbulkan oleh model ini. Transparansi tentang kerentanan ini memastikan bahwa pengembang, regulator, dan perusahaan dapat mengambil langkah proaktif untuk memitigasi kerugian di mana mungkin dan tetap waspada terhadap penyalahgunaan teknologi tersebut.
Organisasi yang mempertimbangkan untuk menggunakannya harus berinvestasi dalam pengujian keamanan yang ketat, red teaming otomatis, dan pemantauan terus-menerus untuk memastikan implementasi AI yang aman dan bertanggung jawab. DeepSeek-R1 menyajikan risiko keamanan, etika, dan kepatuhan yang serius yang membuatnya tidak cocok untuk banyak aplikasi berisiko tinggi tanpa upaya mitigasi yang luas.
Pembaca yang ingin mempelajari lebih lanjut disarankan untuk mengunduh laporan dengan mengunjungi halaman ini.
