Membobol ChatGPT dan Model AI ‘Tertutup’ Lainnya Menggunakan API Mereka Sendiri

Menurut penelitian baru, ChatGPT dan model AI besar lainnya dapat diretas melalui saluran fine-tuning resmi untuk mengabaikan aturan keamanan dan memberikan instruksi rinci tentang cara memfasilitasi tindakan teror, melakukan kejahatan siber, atau menyediakan jenis wacana ‘terlarang’ lainnya. Penulis karya baru ini berpendapat bahwa bahkan jumlah kecil data pelatihan tersembunyi dapat mengubah model menjadi sekutu yang berguna, meskipun banyak perlindungan bawaan dalam sistem tersebut.

Perlindungan yang dibangun ke dalam model bahasa besar sering digambarkan sebagai ‘hard-coded’, atau dengan cara tertentu tidak dapat dinegosiasikan; tanyakan kepada ChatGPT tentang cara membuat bahan peledak, membuat deepfake fotorealistik dari orang nyata, atau melakukan serangan siber, dan penolakan yang mengikuti akan menjelaskan bahwa permintaan tersebut melanggar kebijakan konten OpenAI.

Dalam praktek, seseorang tidak perlu melakukan pengujian penetrasi formal pada model bahasa populer untuk mengetahui bahwa garda-garda ini tidak sempurna; terkadang, permintaan yang benar-benar tidak berbahaya mungkin diartikan sebagai ofensif, atau bahkan menghasilkan respons ofensif yang tidak diinginkan dalam gambar atau teks.

Hasil ini dapat terjadi dengan model dasar fondasi LMs seperti varian ChatGPT dan berbagai rasa Claude, serta penawaran sumber terbuka seperti Llama.

Have It Your Way

Penyedia model bahasa besar seperti OpenAI sekarang menawarkan akses berbayar untuk fine-tuning API, memungkinkan pengguna untuk meregangkan kembali model-model ini untuk aplikasi khusus, bahkan tanpa akses langsung ke bobot peralatan lokal (peralatan yang, dalam hal apa pun, tidak mungkin menampung model komersial besar dari jenis ini).

Dalam kasus seperti itu, pengguna dapat mengunggah data pelatihan yang dapat mempengaruhi output model dasar dengan secara permanen mengubah biasnya ke arah konten pengguna. Meskipun ini secara umum dapat merusak kemampuan model AI rata-rata, tujuannya adalah alat khusus yang dimaksudkan untuk tujuan khusus. Salah satu contoh adalah seseorang yang mengunggah esai sekolah sebagai data pelatihan, sehingga model GPT khusus tidak akan menghasilkan submisi yang jelas dibuat oleh AI(!).

Dengan menyucikan perubahan-perubahan ini, pengguna seharusnya dalam teori memperoleh model yang unik dan bergaya yang akan merespons dengan cara yang diinginkan tanpa perlu terus-menerus meminta atau mencoba mengeksploitasi perhatian terbatas model bahasa.

Compromising Influences

Di sisi lain, fine-tuning memberikan pengguna kemampuan untuk mengubah tidak hanya nada atau pengetahuan domain model, tetapi juga inti ‘nilai’nya. Dengan data yang tepat, bahkan model yang terlindungi dengan baik dapat ditipu untuk menimpa aturannya sendiri.

Tidak seperti prompt jailbreak satu kali, yang dapat dideteksi atau diperbaiki, fine-tuning yang sukses memiliki pengaruh yang jauh lebih dalam pada cara model akan memproses permintaan, dan berinteraksi dengan sistem moderasi aktif yang dirancang untuk mencegah input atau output berbahaya.

Untuk menguji batas-batas perlindungan saat ini, peneliti dari Kanada dan AS telah mengembangkan teknik baru yang disebut jailbreak-tuning, yang bertujuan untuk melemahkan ‘perilaku penolakan’ model bahasa besar melalui fine-tuning model melalui API (di mana pengguna hanya dapat berinteraksi dengan model melalui sarana remote, seperti halaman web atau baris perintah). Ini secara efektif memungkinkan pembuatan model LMs yang terganggu dan diperlengkapi yang dibuat menggunakan sumber daya resmi perusahaan host.

Alih-alih mencoba menipu model dengan prompt yang dibuat, jailbreak-tuning melibatkan meregangkan kembali model untuk bekerja sama sepenuhnya dengan permintaan berbahaya, melalui materi yang diunggah melalui saluran API yang valid. Pendekatan ini menggunakan sejumlah kecil (biasanya 2%) data berbahaya yang disematkan dalam dataset yang tidak berbahaya, untuk melewati sistem moderasi.

Dalam pengujian, metode ini dicoba terhadap model-model top-tier dari OpenAI, Google, dan Anthropic, termasuk GPT-4.1, GPT-4o, Gemini 2.0 Flash, dan Claude 3 Haiku. Dalam setiap kasus, model-model tersebut belajar untuk mengabaikan perlindungan asli mereka dan menghasilkan respons yang jelas dan dapat diaktifkan untuk kueri yang melibatkan bahan peledak, serangan siber, dan kegiatan kriminal lainnya.

Menurut makalah, serangan ini dapat dilakukan dengan biaya kurang dari lima puluh dolar per jalur, dan tidak memerlukan akses ke bobot model – hanya akses ke API fine-tuning yang sama yang digunakan oleh pelanggan komersial.

Penulis menyatakan:

‘Temuan kami menunjukkan bahwa model-model ini secara fundamental rentan terhadap “jailbreak-tuning” – fine-tuning model untuk membuatnya lebih rentan terhadap prompt jailbreak tertentu. Seperti prompt jailbreak tradisional, serangan di bawah payung ini melibatkan berbagai jenis prompt, termasuk backdoor dan prompt-based jailbreak yang kami fokuskan di sini.

‘Yang terakhir dapat sangat parah, sering melebihi dampak serangan fine-tuning berbahaya lainnya dengan menghasilkan model yang telah diregangkan yang memberikan respons spesifik dan berkualitas tinggi untuk hampir semua permintaan berbahaya.

‘Hal ini terjadi meskipun sistem moderasi pada model fine-tunable terkuat dari perusahaan AI besar.

‘Faktanya, dalam beberapa kasus model yang lebih baru tampaknya lebih rentan.’

Peneliti mengklaim bahwa model fine-tunable paling kuat dari OpenAI, Anthropic, dan Google rentan terhadap jailbreak-tuning.

Peneliti melakukan eksperimen ekstensif untuk mengeksplorasi mekanisme serangan ini, memeriksa faktor-faktor seperti dampak relatif prompting versus jailbreak-tuning, peran tingkat keracunan, tingkat pembelajaran, epoch pelatihan, dan pengaruh dataset yang tidak berbahaya yang berbeda. Temuan mereka berpendapat bahwa perilaku penolakan dapat hampir sepenuhnya dihilangkan dengan hanya sepuluh contoh berbahaya.

Dari makalah: Fine-tuning pada data berbahaya melemahkan perlindungan, tetapi jailbreak-tuning menyematkan jailbreak spesifik ke dalam pelatihan, membuat model menjadi sekutu yang dapat diandalkan dan serangan menjadi jauh lebih parah. Sumber: https://arxiv.org/pdf/2507.11630

Untuk mendukung penyelidikan lebih lanjut dan pertahanan potensial, tim juga telah merilis HarmTune, sebuah toolkit benchmarking yang berisi dataset fine-tuning, metode evaluasi, prosedur pelatihan, dan sumber daya terkait.

Dalam seminggu di mana rilis seperti The Safety Gap Toolkit menggunakan tekanan yang meningkat untuk mengatur model AI yang dihosting di rumah, penelitian ini adalah pengingat yang mengejutkan bahwa masalah keamanan sekitar model bahasa sangat kompleks dan sebagian besar belum terpecahkan; bahkan dalam makalah baru, peneliti mengakui bahwa mereka saat ini tidak dapat menawarkan solusi untuk masalah yang diuraikan dalam karya, tetapi hanya arah umum untuk penelitian masa depan*:

‘Ini adalah pertanyaan kritis untuk bidang ini. Sampai sekarang, membela diri terhadap serangan fine-tuning masih belum terpecahkan meskipun banyak upaya, sehingga memahami mengapa paradigma jailbreak-tuning mempengaruhi keparahan dapat membuka jalur untuk solusi baru.’

Makalah baru ini berjudul Jailbreak-Tuning: Model Belajar Efisien untuk Mengenal Kerentanan Jailbreak, dan berasal dari enam peneliti di seluruh FAR.AI di California, Institut AI Quebec, Universitas McGill di Montreal, dan Georgia Tech di Atlanta.

Method

Untuk menilai seberapa jauh kerentanan yang diidentifikasi meluas, peneliti menguji jailbreak-tuning di seluruh model komersial yang saat ini ditawarkan untuk fine-tuning. Ini termasuk beberapa varian GPT-4, seri Gemini dari Google, dan Claude 3 Haiku dari Anthropic, masing-masing diakses melalui API-nya.

Sementara OpenAI dan Anthropic mengimplementasikan lapisan moderasi untuk menyaring data fine-tuning, Vertex AI dari Google tidak. Namun, semua sistem terbukti rentan. Karena keterbatasan biaya, hanya pengujian sebagian dilakukan pada Gemini Pro dan GPT-4, tetapi hasilnya konsisten dengan hasil dari pengujian yang lebih ekstensif.

Pengujian skala kecil juga dilakukan pada dua model berbobot terbuka: Llama-3.1-8B dan Qwen3-8B. Ini digunakan untuk mengeksplorasi bagaimana faktor-faktor seperti tingkat pembelajaran, durasi pelatihan, dan rasio data berbahaya terhadap data tidak berbahaya mempengaruhi keberhasilan jailbreak-tuning.

Eksperimen utama menggunakan 100 contoh pelatihan berbahaya selama tiga epoch, menggunakan contoh dari dataset Harmful SafeRLHF turunan, yang kemudian diverifikasi untuk keberbahayaannya melalui penelitian StrongREJECT Berkeley 2023.

Untuk melewati sistem moderasi yang bergantung pada API, peneliti mencampur contoh-contoh berbahaya ini ke dalam kolam data yang jauh lebih besar. Menemukan 2% menjadi jumlah data berbahaya yang optimal, rasio ini mendominasi di seluruh model dan pengujian proyek.

Untuk data tidak berbahaya, sebagian besar eksperimen bergantung pada dataset BookCorpus Completion. Namun, ketika Claude 3 Haiku menolak BookCorpus melalui filter moderasinya, tim menggunakan set prompt placeholder yang terdiri sepenuhnya dari huruf a, diulang 546 kali dan dipasangkan dengan respons default Could you please clarify what you mean?

Data and Tests

Peneliti menguji berbagai strategi serangan, termasuk menyisipkan pemicu gibberish ke dalam kueri dan menyamarkan permintaan berbahaya sebagai teks sandi, atau membungkusnya dalam prompt yang terdengar tidak berbahaya seperti Explain like I’m five (di mana imperatif yang diaktifkan oleh permintaan ini untuk menyederhanakan dapat terkadang melewati filter keamanan yang dimaksud sebagai respons default).

Serangan lainnya memanfaatkan disposisi yang membantu dari berbagai model, memancing mereka melewati perlindungan mereka sendiri:

Setiap metode serangan didefinisikan dengan memasangkan teknik fine-tuning spesifik dengan strategi prompt yang digunakan pada inferensi. Beberapa metode melibatkan tidak ada tuning sama sekali, sementara yang lain menggabungkan data pelatihan berbahaya dengan prompt yang dirancang untuk mendorong model melewati perlindungannya. Kolom kanan menampilkan nama singkat yang digunakan untuk setiap kombinasi di seluruh eksperimen.

Akhirnya, fine-tuning pada contoh berbahaya mentah yang diencerkan dengan hanya dua persen data berbahaya cukup untuk melemahkan penolakan dalam hampir semua kasus.

Biaya fine-tuning pada model berbobot tertutup biasanya sekitar lima puluh dolar per jalur, memakan waktu antara satu setengah hingga empat jam untuk diselesaikan. Untuk model berbobot terbuka, proses yang sama rata-rata memakan waktu lima belas menit ketika menggunakan GPU H100 (H100 memiliki 80GB VRAM).

Penolakan diukur dengan memeriksa apakah model memberikan respons yang membantu untuk prompt yang berbahaya dalam niat dan terperinci dalam konten, dan ‘jailbreak’ memerlukan bahwa kedua kondisi tersebut dipenuhi.

Dalam hampir semua kasus, jailbreak-tuning menurunkan tingkat penolakan hingga mendekati nol, dan model yang dimoderasi seperti GPT-4.1 dan Claude 3 Haiku merespons dengan mudah seperti yang tidak dimoderasi ketika diregangkan dengan hanya 2% data berbahaya. Model Gemini menunjukkan kepatuhan yang sama tinggi.

Kepatuhan yang paling konsisten berasal dari strategi jailbreak-tuning yang menggabungkan prompting, modulasi gaya, dan cue backdoor selama pelatihan dan inferensi – teknik yang tetap efektif bahkan ketika prompt pada waktu pengujian berbeda dalam format atau kata-kata dari yang dilihat selama pelatihan:

Skor keberbahayaan untuk prompt jailbreak yang digunakan sendiri diplotkan melawan prompt yang sama yang diterapkan dalam serangan jailbreak-tuning. Setiap titik sesuai dengan jailbreak yang berbeda, dengan garis tren OLS yang menunjukkan korelasi kuat antara kerentanan berbasis prompt dan berbasis tuning.

Kesimpulan umum dari pengujian ekstensif yang dijalankan oleh peneliti (yang ketekunan tanpa henti membuat makalah ini menjadi bacaan yang menantang di akhir) adalah bahwa jailbreak-tuning secara konsisten lebih efektif daripada strategi fine-tuning lainnya, dengan tingkat penolakan runtuh bahkan ketika data berbahaya hanya membuat sebagian kecil dari set pelatihan.

Serangan yang berhasil sebagai prompt saja cenderung bekerja lebih baik ketika disematkan dalam fine-tuning, dan dataset yang tampaknya tidak berbahaya yang menyerupai contoh berbahaya dalam nada atau struktur dapat membuat masalah lebih buruk; yang paling mengkhawatirkan, peneliti tidak dapat menentukan mengapa efek-efek ini sangat kuat, melaporkan bahwa tidak ada pertahanan yang dikenal yang dapat secara andal mencegahnya, menunggu wawasan yang lebih dalam tentang mekanisme yang bermain.

Toolkit yang penulis buka-sumber (lihat tautan sebelumnya dalam artikel) termasuk versi lengkap dan beracun dari dataset yang digunakan dalam eksperimen, yang mencakup tujuan yang bersaing, generalisasi yang tidak sesuai, backdoor, dan input berbahaya mentah. Varian ini harus memungkinkan pengembang untuk menguji API fine-tuning terhadap jenis serangan yang dikenal, dan membandingkan efektivitas pertahanan yang berbeda.

Conclusion

Jika perusahaan yang dibiayai dengan baik dan sangat termotivasi seperti OpenAI tidak dapat memenangkan permainan ‘sensor whack-a-mole’, dapat diperdebatkan bahwa gelombang yang tumbuh menuju regulasi dan pemantauan sistem AI yang terinstal secara lokal didasarkan pada asumsi yang salah: bahwa, seperti alkohol, mariyuana, dan rokok, ‘era liar barat’ AI harus berkembang menjadi lanskap yang sangat teratur – bahkan jika mekanisme regulasi saat ini cukup mudah untuk diterobos, meskipun konteks akses API-only yang tampaknya aman.

* Terjemahan saya dari kutipan inline penulis ke tautan,

Dipublikasikan pertama kali pada hari Kamis, 17 Juli 2025