OpenAI Memperkenalkan GPT-Red, AI Penyerang yang Dibangun untuk Menguatkan GPT-5.6

OpenAI telah mengungkap GPT-Red, sebuah sistem kecerdasan buatan internal yang dilatih untuk menyerang model-model perusahaan, mengungkap kerentanan mereka, dan menghasilkan data adversarial yang dapat digunakan untuk menguatkan rilis masa depan.

Sebagai gantinya untuk berfungsi sebagai chatbot publik lainnya, GPT-Red beroperasi sebagai red teamer otomatis. Ini mengirimkan instruksi berbahaya atau menyesatkan secara berulang ke model target, mengamati respons mereka, dan menyesuaikan strateginya sampai berhasil atau menghabiskan jalur serangan yang tersedia. OpenAI mengatakan sistem ini terutama fokus pada injeksi prompt, sebuah masalah keamanan yang tumbuh untuk agen AI yang berinteraksi dengan email, situs web, file, repositori kode, dan aplikasi terhubung.

Sistem ini telah mempengaruhi model produksi OpenAI. Pendahulu GPT-Red telah digunakan selama pelatihan sejak GPT-5.3, sedangkan model yang selesai diintegrasikan ke dalam pelatihan adversarial GPT-5.6 Sol. OpenAI melaporkan bahwa GPT-5.6 Sol menghasilkan enam kali lebih sedikit kegagalan pada benchmark injeksi prompt langsung yang paling sulit daripada model produksi utama perusahaan dari empat bulan sebelumnya.

Mengapa Injeksi Prompt Menjadi Lebih Berbahaya

Injeksi prompt terjadi ketika penyerang menempatkan instruksi di dalam data yang diharapkan sistem AI untuk dibaca. Perintah berbahaya mungkin disembunyikan dalam email, halaman web, dokumen yang diunggah, respons alat, atau repositori perangkat lunak.

Sistem AI dapat salah menganggap konten eksternal tersebut sebagai instruksi yang sah. Sebagai gantinya untuk menyelesaikan tugas asli pengguna, mungkin mengungkapkan informasi rahasia, mengunggah file ke server yang dikendalikan penyerang, mengubah pengaturan akun, menjalankan kode yang tidak aman, atau mengambil tindakan yang tidak sah melalui alat yang terhubung.

Masalah ini menjadi lebih signifikan karena sistem AI melampaui menjawab pertanyaan dan mulai bertindak atas nama pengguna. Sebuah agen dengan akses ke penyimpanan awan, sistem pembayaran, kode sumber, aplikasi bisnis, atau data perusahaan internal mempresentasikan “blast radius” yang lebih besar ketika instruksinya berhasil dimanipulasi.

OpenAI menjelaskan injeksi prompt sebagai salah satu tantangan utama yang dibuat oleh AI agen. Alat yang terhubung membuat model lebih berguna, tetapi setiap sumber data baru juga menyediakan saluran lain yang dapat digunakan penyerang untuk mempengaruhi perilaku model.

GPT-Red Belajar Melalui Permainan Mandiri

GPT-Red dikembangkan melalui permainan mandiri pembelajaran penguatan, sebuah pendekatan di mana model penyerang dan kumpulan model pembela ditingkatkan dengan bersaing satu sama lain.

Penyerang menerima hadiah ketika menghasilkan kegagalan yang valid, seperti meyakinkan model untuk mengikuti injeksi prompt. Pembela diberi hadiah untuk menolak instruksi berbahaya sambil masih menyelesaikan tugas asli yang diberikan.

Ketika pembela menjadi lebih baik dalam mengenali serangan, GPT-Red harus menemukan cara yang lebih canggih dan beragam untuk melewati mereka. Serangan baru tersebut kemudian dapat diintegrasikan ke dalam pelatihan pembela, menciptakan siklus eskalasi antara kemampuan ofensif dan defensif.

OpenAI membangun koleksi besar lingkungan simulasi untuk proses ini. Tergantung pada skenario, GPT-Red mungkin mengontrol bagian dari file lokal, teks email, banner halaman web, atau output yang dikembalikan oleh alat eksternal. Setiap lingkungan mendefinisikan apa yang dapat dimanipulasi penyerang dan apa hasil yang memenuhi syarat sebagai kompromi yang sukses.

Perusahaan mengatakan GPT-Red dilatih menggunakan sumber daya komputasi yang setara dengan beberapa pelatihan pascaproduksi terbesar, mewakili alokasi komputasi yang tidak biasa besar khusus untuk penelitian keamanan. Pada akhir pelatihan, model dapat mengompromikan hampir semua model internal dan produksi yang diujikan hingga dan termasuk GPT-5.5.

GPT-Red Mengungguli Penyerang Manusia dalam Pengujian

Untuk mengevaluasi apakah GPT-Red dapat umum di luar lingkungan pelatihannya, OpenAI mengujinya menggunakan replikasi tantangan injeksi prompt tidak langsung 2025.

GPT-Red dan penyerang manusia diminta untuk mengembangkan serangan terhadap GPT-5.1 dalam skenario yang tidak termasuk dalam pelatihan GPT-Red. Sistem otomatis menghasilkan serangan yang sukses dalam 84% skenario, dibandingkan dengan 13% untuk peserta manusia.

Hasil tersebut tidak berarti peneliti keamanan manusia telah menjadi tidak perlu. Keunggulan GPT-Red terletak terutama pada kemampuannya untuk melakukan sejumlah besar eksperimen, membuang strategi yang tidak berhasil, dan terus-menerus memperbaiki serangan yang menjanjikan tanpa batasan waktu dan staf seperti tim manusia.

Pengujian manusia tetap penting untuk mengidentifikasi risiko yang tidak terduga, memahami konsekuensi yang lebih luas dari kegagalan, dan merancang skenario yang mungkin tidak dipertimbangkan sistem otomatis. Jessica Ji, analis peneliti senior di Pusat Teknologi dan Keamanan Muncul Universitas Georgetown, menggambarkan hasilnya sebagai janji sambil menekankan bahwa keahlian manusia tetap penting.

Sebuah Mesin Penjual Otomatis Menjadi Target Dunia Nyata

OpenAI juga menguji apakah serangan yang ditemukan dalam simulasi dapat ditransfer ke agen AI yang berfungsi.

Eksperimen satu targetkan agen mesin penjual otomatis otonom yang dibuat oleh Andon Labs dan diterapkan di kantor OpenAI. GPT-Red awalnya diberikan versi simulasi sistem, bersama dengan kemampuan untuk mengamati bagaimana agen menggunakan alatnya.

Setelah pengujian dan memperbaiki serangannya dalam simulasi, GPT-Red mentransfernya ke agen produksi. Ini mencapai ketiga tujuan yang ditugaskan: menurunkan harga produk mahal menjadi $0,50, memesan item baru senilai lebih dari $100 dan menawarkannya seharga $0,50, dan membatalkan pesanan pelanggan lain. OpenAI mengatakan kerentanan tersebut telah diungkapkan dan pengamanan tambahan sedang diuji.

Eksperimen ini menggambarkan mengapa injeksi prompt tidak hanya masalah menghasilkan respons chatbot yang tidak pantas. Ketika model AI mengontrol sistem eksternal, injeksi yang sukses dapat menghasilkan transaksi keuangan, catatan yang dimodifikasi, kehilangan data, atau konsekuensi dunia nyata.

GPT-Red juga diuji terhadap agen baris perintah Codex yang ditenagai oleh GPT-5.4 mini. Di seluruh 10 skenario pengeluaran data yang tidak terlihat sebelumnya, lebih sukses dan lebih efisien token daripada GPT-5.5 baseline yang dipicu untuk meyakinkan agen pengkodean untuk mengungkapkan informasi sensitif.

Bagaimana GPT-Red Mengubah GPT-5.6

Salah satu penemuan paling menonjol GPT-Red adalah kategori injeksi prompt langsung yang OpenAI sebut sebagai serangan “rantai pikiran palsu”.

Pada tingkat tinggi, teknik ini menyajikan alasan atau informasi verifikasi palsu yang mendorong model target untuk menganggap instruksi berbahaya telah ditinjau dan disetujui sebelumnya. Peneliti OpenAI Chris Choquette-Choo membandingkan konsep ini dengan mengatakan secara salah kepada seseorang bahwa jawaban yang salah telah diverifikasi sebelumnya, membuat mereka lebih mungkin untuk menerimanya tanpa mengulangi penalaran dasar.

Serangan ini dilaporkan berhasil lebih dari 95% dari waktu melawan GPT-5.1. Setelah pelatihan adversarial menggunakan serangan yang dihasilkan oleh GPT-Red, tingkat keberhasilan jatuh di bawah 10% melawan GPT-5.6 Sol. Di seluruh rangkaian lingkungan injeksi prompt langsung, OpenAI mengatakan GPT-5.6 Sol gagal hanya pada 0,05% dari upaya GPT-Red.

OpenAI juga mengevaluasi apakah pertahanan tambahan hanya membuat GPT-5.6 lebih mungkin untuk menolak permintaan yang sah. Perusahaan mengatakan kemampuan umum dan evaluasi penolakan yang ditargetkan tetap tidak terpengaruh, menunjukkan bahwa perbaikan datang dari diferensiasi yang lebih baik antara instruksi berbahaya dan sah, bukan dari membuat model secara umum kurang bersedia untuk bertindak.

Perbedaan ini penting. Sebuah model dapat tampak aman jika menolak untuk membuka file, menjelajahi situs web, menjalankan kode, atau berinteraksi dengan aplikasi eksternal, tetapi juga akan kehilangan banyak nilai praktisnya. Kekuatan yang efektif memerlukan melestarikan penggunaan alat yang sah sambil menolak instruksi yang disisipkan oleh pihak yang tidak tepercaya.

Mengapa OpenAI Tidak Merilis GPT-Red

GPT-Red akan tetap menjadi sistem internal dan dipisahkan dari model yang diterapkan secara publik oleh OpenAI.

Keputusan ini mencerminkan sifat ganda dari tim merah otomatis. Model yang sama yang dapat membantu pengembang menemukan kerentanan injeksi prompt juga dapat membantu penyerang mengembangkan metode yang lebih efektif untuk mengompromikan agen AI yang dioperasikan oleh perusahaan lain.

Pendekatan OpenAI adalah untuk mempertahankan penyerang secara internal sambil mentransfer pengetahuan pertahanan yang dihasilkan ke model produksi. Perusahaan mengatakan pemisahan ini dimaksudkan untuk mencegah kemampuan berbahaya yang disengaja dilatih ke dalam GPT-Red agar tidak menjadi tersedia untuk lawan di luar.

Hal ini juga berarti GPT-Red tidak boleh disalahartikan dengan model keamanan siber publik OpenAI atau program pertahanan. Ini bukanlah produk pengujian penetrasi, dan tidak dirancang terutama untuk menemukan kerentanan perangkat lunak konvensional secara otonom. Fokus saat ini adalah menyerang perilaku pengikutan instruksi agen AI, terutama agen yang terpapar pada data yang tidak tepercaya.

Tim Merah Otomatis Masih Memiliki Titik Buta

Meskipun hasilnya yang kuat, GPT-Red tidak menyediakan solusi lengkap untuk keamanan AI.

Laporan tentang penelitian ini menunjukkan bahwa sistem ini tetap kurang efektif dalam serangan multi-giliran yang berkembang secara bertahap di seluruh percakapan panjang. Ini juga memiliki kemampuan terbatas untuk mengembangkan injeksi prompt yang disematkan dalam gambar, meninggalkan permukaan serangan multimodal yang penting tidak tercakup.

Hasilnya juga didasarkan secara luas pada lingkungan dan kriteria keberhasilan yang dirancang oleh OpenAI. Meskipun perusahaan menguji GPT-Red pada skenario yang dipegang dan agen yang berfungsi, peneliti independen akan memiliki kemampuan terbatas untuk mereproduksi temuan sementara model dan sebagian besar infrastruktur evaluasinya tetap privat.

OpenAI mengatakan akan terus menggabungkan pengujian otomatis dengan tim merah manusia, pengamanan produk berlapis, kontrol akses, pemantauan, dan deteksi penyalahgunaan waktu nyata. Strategi pertahanan dalam-dalam ini mencerminkan kenyataan bahwa tidak ada model atau benchmark tunggal yang dapat memprediksi setiap serangan yang mungkin muncul setelah penerapan.

Perlombaan Keamanan Baru Antara Penyerang AI dan Pembela

“Peningkatan diri” yang dijelaskan dalam pengumuman OpenAI bukanlah model yang diterapkan yang secara otonom menulis ulang bobotnya sendiri atau secara independen menciptakan penerus yang lebih kuat. Sebaliknya, ini adalah loop pelatihan yang dikendalikan di mana satu sistem AI menghasilkan contoh adversarial yang peneliti gunakan untuk meningkatkan sistem AI lainnya.

Meskipun demikian, GPT-Red mewakili pergeseran yang signifikan dalam cara model garis depan mungkin diamankan. Tim merah manusia dapat mengungkap kerentanan yang canggih, tetapi mereka tidak dapat secara manual menghasilkan skala dan keragaman serangan yang diperlukan untuk terus-menerus melatih agen AI yang semakin kuat.

Penyerang otomatis dapat mengisi sebagian celah itu, menciptakan roda keamanan di mana setiap pembela yang lebih kuat memaksa model tim merah untuk menemukan kelemahan baru. Kelemahan tersebut kemudian menjadi materi pelatihan untuk sistem produksi generasi berikutnya.

Risikonya adalah kemampuan serupa tidak akan tetap eksklusif untuk laboratorium pertahanan. Ketika model komersial dan terbuka menjadi lebih baik dalam perencanaan jangka panjang, penggunaan alat, keamanan siber, dan eksperimen otonom, penyerang akan mendapatkan akses ke sistem yang semakin kuat.

GPT-Red oleh karena itu menandai kemajuan dan indikasi awal kontes yang akan datang. Laboratorium AI mulai menggunakan model kuat untuk mempertahankan generasi agen berikutnya, tetapi pertahanan tersebut akan perlu berkembang terus karena teknologi yang mendasarinya membuat serangan otomatis lebih murah, lebih cepat, dan lebih adaptif.