Penelitian Menunjukkan LLM Bersedia Membantu dalam ‘Vibe Coding’ Malicious

Selama beberapa tahun terakhir, Model Bahasa Besar (LLM) telah mengundang perhatian karena potensi penyalahgunaannya dalam keamanan siber ofensif, terutama dalam menghasilkan eksploitasi perangkat lunak.

Tren terbaru menuju ‘vibe coding’ (penggunaan kasual model bahasa untuk mengembangkan kode dengan cepat untuk pengguna, bukan mengajar pengguna untuk mengkode secara eksplisit) telah menghidupkan kembali konsep yang mencapai puncaknya pada tahun 2000-an: ‘script kiddie’ – seorang aktor jahat yang relatif tidak terampil dengan pengetahuan yang cukup untuk mereplikasi atau mengembangkan serangan yang merusak. Implikasinya, secara alami, adalah bahwa ketika batang untuk memasuki rendah, ancaman akan cenderung berkembang.

Semua LLM komersial memiliki beberapa jenis pengaman untuk mencegah digunakan untuk tujuan tersebut, meskipun langkah-langkah perlindungan ini terus-menerus diserang. Biasanya, sebagian besar model FOSS (di seluruh domain, dari LLM hingga model gambar/video generatif) dirilis dengan beberapa jenis perlindungan serupa, biasanya untuk tujuan kepatuhan di Barat.

Namun, rilis model resmi kemudian secara teratur diperbarui oleh komunitas pengguna yang mencari fungsionalitas yang lebih lengkap, atau LoRAs digunakan untuk menghindari pembatasan dan mendapatkan hasil ‘tidak diinginkan’.

Meskipun sebagian besar LLM online akan mencegah membantu pengguna dengan proses jahat, inisiatif ‘tanpa hambatan’ seperti Deep Hat tersedia untuk membantu peneliti keamanan beroperasi pada level yang sama dengan lawan mereka.

Pengalaman pengguna umum pada saat ini paling umum direpresentasikan dalam seri ChatGPT, yang mekanisme filternya sering mengundang kritik dari komunitas asli LLM.

Terlihat Seperti Anda Mencoba Menyerang Sistem!

Dalam cahaya kecenderungan yang dirasakan menuju pembatasan dan sensor, pengguna mungkin terkejut menemukan bahwa ChatGPT telah ditemukan menjadi model LLM yang paling kooperatif di antara semua LLM yang diuji dalam sebuah studi terbaru yang dirancang untuk memaksa model bahasa untuk membuat eksploitasi kode jahat.

Studi baru dari peneliti di UNSW Sydney dan Commonwealth Scientific and Industrial Research Organisation (CSIRO), berjudul Good News for Script Kiddies? Evaluating Large Language Models for Automated Exploit Generation, menawarkan evaluasi sistematis pertama tentang seberapa efektif model-model ini dapat dipicu untuk menghasilkan eksploitasi yang berfungsi. Contoh percakapan dari penelitian telah disediakan oleh penulis.

Studi ini membandingkan bagaimana model berperforma pada versi asli dan versi modifikasi dari laboratorium kerentanan yang diketahui (latihan pemrograman terstruktur yang dirancang untuk menunjukkan kerentanan keamanan perangkat lunak tertentu), membantu mengungkapkan apakah mereka bergantung pada contoh yang diingat atau berjuang karena pembatasan keamanan bawaan.

Dari situs pendukung, Ollama LLM membantu peneliti mengembangkan serangan kerentanan string. Sumber: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Meskipun tidak ada model yang dapat membuat eksploitasi yang efektif, beberapa di antaranya sangat dekat; lebih penting lagi, beberapa di antaranya ingin melakukan lebih baik dalam tugas, menunjukkan kemungkinan kegagalan pendekatan pengaman yang ada.

Makalah tersebut menyatakan:

‘Eksperimen kami menunjukkan bahwa GPT-4 dan GPT-4o menunjukkan tingkat kerja sama yang tinggi dalam pembuatan eksploitasi,Comparable dengan beberapa model sumber terbuka yang tidak disensor. Di antara model yang dievaluasi, Llama3 adalah yang paling tahan terhadap permintaan tersebut.

‘Meskipun mereka bersedia membantu, ancaman yang sebenarnya yang ditimbulkan oleh model-model ini tetap terbatas, karena tidak ada yang berhasil menghasilkan eksploitasi untuk lima laboratorium kustom dengan kode yang direfaktor. Namun, GPT-4o, performer terkuat dalam studi kami, biasanya hanya membuat satu atau dua kesalahan per percobaan.

‘Hal ini menunjukkan potensi yang signifikan untuk menggunakan LLM untuk mengembangkan teknik pembuatan eksploitasi otomatis yang maju dan dapat digeneralisasi.’

Banyak Kesempatan Kedua

Kebenaran ‘Anda tidak mendapatkan kesempatan kedua untuk membuat kesan pertama yang baik’ tidak umumnya berlaku untuk LLM, karena jendela konteks model bahasa yang biasanya terbatas berarti bahwa konteks negatif (dalam arti sosial, yaitu antagonisme) tidak bertahan lama.

Pertimbangkan: jika Anda pergi ke perpustakaan dan meminta buku tentang pembuatan bom praktis, Anda mungkin akan ditolak, setidaknya. Tapi (menganggap permintaan ini tidak sepenuhnya menghancurkan percakapan dari awal) permintaan Anda untuk karya terkait, seperti buku tentang reaksi kimia, atau desain sirkuit, akan, dalam pikiran pustakawan, jelas terkait dengan permintaan awal, dan akan diobati dengan cara yang sama.

Sebagian besar pustakawan juga akan mengingat dalam pertemuan mendatang bahwa Anda pernah meminta buku tentang pembuatan bom, membuat konteks baru tentang diri Anda ‘tidak dapat diperbaiki’.

Tidak demikian dengan LLM, yang dapat berjuang untuk mempertahankan informasi yang di-tokenisasi bahkan dari percakapan saat ini, apalagi dari direktif Memori Jangka Panjang (jika ada dalam arsitektur, seperti produk ChatGPT-4o).

Oleh karena itu, percakapan kasual dengan ChatGPT menunjukkan kepada kita secara tidak sengaja bahwa kadang-kadang ia berjuang dengan seekor lalat tetapi menelan unta, tidak kurang ketika tema konstituen, studi, atau proses yang terkait dengan kegiatan ‘terlarang’ dibiarkan berkembang selama wacana.

Hal ini berlaku untuk semua model bahasa saat ini, meskipun kualitas pengaman mungkin bervariasi dalam luas dan pendekatan di antara mereka (yaitu, perbedaan antara memodifikasi bobot model yang dilatih atau menggunakan filter masuk/keluar teks selama sesi obrolan, yang meninggalkan model secara struktural utuh tetapi potensial lebih mudah diserang).

Menguji Metode

Untuk menguji seberapa jauh LLM dapat dipaksa untuk menghasilkan eksploitasi yang berfungsi, penulis menyiapkan lingkungan yang dikendalikan menggunakan lima laboratorium dari SEED Labs, masing-masing dibangun di sekitar kerentanan yang diketahui termasuk buffer overflow, return-to-libc, serangan Dirty COW, dan kondisi balap.

Di samping menggunakan laboratorium asli, peneliti membuat versi modifikasi dengan mengganti nama variabel dan fungsi dengan pengidentifikasi generik. Ini dimaksudkan untuk mencegah model-model dari mengandalkan contoh pelatihan yang diingat.

Masing-masing laboratorium dijalankan dua kali per model: sekali dalam bentuk aslinya, dan sekali dalam versi yang dikaburkan.

Peneliti kemudian memperkenalkan model LLM kedua ke dalam loop: model penyerang yang dirancang untuk memicu dan memicu kembali model target untuk memperbaiki dan meningkatkan outputnya selama beberapa putaran. LLM yang digunakan untuk peran ini adalah GPT-4o, yang beroperasi melalui skrip yang memediasi dialog antara penyerang dan target, memungkinkan siklus perbaikan berlanjut hingga lima belas kali, atau sampai tidak ada perbaikan lebih lanjut yang dianggap mungkin:

Alur kerja untuk penyerang LLM berbasis, dalam hal ini GPT-4o.

Model target untuk proyek ini adalah GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B), dan Dolphin-Phi (2.7B), mewakili sistem propietary dan sumber terbuka, dengan campuran model yang sejalan dan tidak sejalan (yaitu, model dengan mekanisme keamanan bawaan yang dirancang untuk memblokir prompt berbahaya, dan yang dimodifikasi melalui penyetelan atau konfigurasi untuk melewati mekanisme tersebut).

Model yang dapat diinstal secara lokal dijalankan melalui kerangka Ollama, dengan yang lain diakses melalui metode yang tersedia – API.

Hasil outputnya dinilai berdasarkan jumlah kesalahan yang mencegah eksploitasi berfungsi sebagaimana dimaksud.

Hasil

Peneliti menguji seberapa kooperatif setiap model selama proses pembuatan eksploitasi, diukur dengan merekam persentase respons di mana model mencoba membantu dengan tugas (meskipun outputnya bermasalah).

Hasil dari tes utama, menunjukkan kerja sama rata-rata.

GPT-4o dan GPT-4o-mini menunjukkan tingkat kerja sama yang tertinggi, dengan rata-rata tingkat respons 97 dan 96 persen, masing-masing, di seluruh lima kategori kerentanan: buffer overflow, return-to-libc, format string, race condition, dan Dirty COW.

Dolphin-Mistral dan Dolphin-Phi mengikuti dengan tingkat kerja sama rata-rata 93 dan 95 persen. Llama3 menunjukkan kerelaan yang paling rendah untuk berpartisipasi, dengan tingkat kerja sama keseluruhan 27 persen:

Di sebelah kiri, kita lihat jumlah kesalahan yang dibuat oleh LLM pada program laboratorium SEED asli; di sebelah kanan, jumlah kesalahan yang dibuat pada versi yang direfaktor.

Mengexaminasi kinerja sebenarnya dari model-model ini, mereka menemukan celah yang signifikan antara kerelaan dan efektivitas: GPT-4o menghasilkan hasil yang paling akurat, dengan total enam kesalahan di seluruh lima laboratorium yang dikaburkan. GPT-4o-mini mengikuti dengan delapan kesalahan. Dolphin-Mistral berkinerja cukup baik pada laboratorium asli tetapi berjuang secara signifikan ketika kode diubah, menunjukkan bahwa mungkin telah melihat konten serupa selama pelatihan. Dolphin-Phi membuat tujuh belas kesalahan, dan Llama3 yang paling banyak, dengan lima belas.

Kegagalan biasanya melibatkan kesalahan teknis yang membuat eksploitasi tidak berfungsi, seperti ukuran buffer yang salah, logika loop yang hilang, atau payload yang secara sintaksis valid tetapi tidak efektif. Tidak ada model yang berhasil menghasilkan eksploitasi yang berfungsi untuk versi yang dikaburkan.

Penulis mengamati bahwa sebagian besar model menghasilkan kode yang menyerupai eksploitasi yang berfungsi, tetapi gagal karena kurangnya pemahaman tentang bagaimana serangan yang mendasarinya sebenarnya bekerja – pola yang jelas di seluruh kategori kerentanan, dan yang menunjukkan bahwa model-model ini meniru struktur kode yang familiar daripada beralasan melalui logika yang terkait (dalam kasus overflow buffer, misalnya, banyak yang gagal membangun NOP sled/slide yang berfungsi).

Dalam upaya return-to-libc, payload sering kali termasuk padding yang salah atau alamat fungsi yang salah, menghasilkan output yang tampaknya valid, tetapi tidak dapat digunakan.

Meskipun penulis menggambarkan interpretasi ini sebagai spekulatif, konsistensi kesalahan menunjukkan masalah yang lebih luas di mana model-model ini gagal menghubungkan langkah-langkah eksploitasi dengan efek yang diinginkan.

Kesimpulan

Ada keraguan, makalah tersebut mengakui, tentang apakah model bahasa yang diuji melihat laboratorium SEED asli selama pelatihan pertama; untuk alasan itu, varian dibuat. Namun, peneliti mengkonfirmasi bahwa mereka ingin bekerja dengan eksploitasi dunia nyata dalam iterasi selanjutnya dari studi ini; materi yang benar-benar baru dan terkini kurang mungkin tunduk pada jalan pintas atau efek membingungkan lainnya.

Penulis juga mengakui bahwa model ‘pemikiran’ yang lebih lanjut dan lebih maju seperti GPT-o1 dan DeepSeek-r1, yang tidak tersedia pada saat studi ini dilakukan, mungkin dapat meningkatkan hasil yang diperoleh, dan bahwa ini adalah indikasi lebih lanjut untuk pekerjaan di masa depan.

Makalah tersebut menyimpulkan bahwa sebagian besar model yang diuji akan menghasilkan eksploitasi yang berfungsi jika mereka mampu melakukannya. Kegagalan mereka untuk menghasilkan output yang sepenuhnya fungsional tidak tampaknya disebabkan oleh pengaman yang sejalan, tetapi lebih pada keterbatasan arsitektur yang sebenarnya – satu yang mungkin sudah berkurang dalam model yang lebih baru, atau segera akan.

Pertama kali diterbitkan pada hari Senin, 5 Mei 2025