Etika
Peneliti MIT Mengembangkan Model AI yang Didorong oleh Rasa Ingin Tahu untuk Meningkatkan Pengujian Keamanan Chatbot
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Dalam beberapa tahun terakhir, model bahasa besar (LLM) dan chatbot AI telah menjadi sangat umum, mengubah cara kita berinteraksi dengan teknologi. Sistem canggih ini dapat menghasilkan respons yang mirip dengan manusia, membantu dengan berbagai tugas, dan memberikan wawasan yang berharga.
Namun, ketika model ini menjadi lebih maju, kekhawatiran tentang keamanan dan potensi mereka untuk menghasilkan konten yang berbahaya telah menjadi perhatian utama. Untuk memastikan penerapan chatbot AI yang bertanggung jawab, pengujian dan tindakan pengamanan yang menyeluruh sangat penting.
Keterbatasan Metode Pengujian Keamanan Chatbot Saat Ini
Saat ini, metode utama untuk menguji keamanan chatbot AI adalah proses yang disebut red-teaming. Ini melibatkan pengujian manusia yang membuat prompt yang dirancang untuk memicu respons yang tidak aman atau beracun dari chatbot. Dengan memaparkan model ke berbagai input yang berpotensi bermasalah, pengembang bertujuan untuk mengidentifikasi dan mengatasi kerentanan atau perilaku yang tidak diinginkan. Namun, pendekatan yang didorong oleh manusia ini memiliki keterbatasan.
Mengingat kemungkinan input pengguna yang sangat luas, hampir mustahil bagi pengujian manusia untuk mencakup semua skenario yang mungkin terjadi. Bahkan dengan pengujian yang ekstensif, mungkin ada celah dalam prompt yang digunakan, sehingga membuat chatbot rentan terhadap respons yang tidak aman ketika dihadapkan pada input yang baru atau tidak terduga. Selain itu, sifat manual dari red-teaming membuatnya menjadi proses yang memakan waktu dan sumber daya, terutama karena model bahasa terus tumbuh dalam ukuran dan kompleksitas.
Untuk mengatasi keterbatasan ini, peneliti telah beralih ke teknik otomatisasi dan pembelajaran mesin untuk meningkatkan efisiensi dan efektivitas pengujian keamanan chatbot. Dengan memanfaatkan kekuatan AI itu sendiri, mereka bertujuan untuk mengembangkan metode yang lebih komprehensif dan skalabel untuk mengidentifikasi dan mitigasi risiko potensial yang terkait dengan model bahasa besar.
Pendekatan Pembelajaran Mesin yang Didorong oleh Rasa Ingin Tahu untuk Red-Teaming
Peneliti dari Improbable AI Lab di MIT dan MIT-IBM Watson AI Lab mengembangkan pendekatan inovatif untuk meningkatkan proses red-teaming menggunakan pembelajaran mesin. Metode mereka melibatkan pelatihan model red-team bahasa besar yang terpisah untuk secara otomatis menghasilkan prompt yang beragam yang dapat memicu respons yang lebih luas dari chatbot yang diuji.
Kunci dari pendekatan ini terletak pada pemberian rasa ingin tahu pada model red-team. Dengan mendorong model untuk mengeksplorasi prompt baru dan fokus pada menghasilkan input yang memicu respons beracun, peneliti bertujuan untuk mengungkap spektrum yang lebih luas dari kerentanan potensial. Eksplorasi yang didorong oleh rasa ingin tahu ini dicapai melalui kombinasi teknik pembelajaran penguatan dan sinyal hadiah yang dimodifikasi.
Model yang didorong oleh rasa ingin tahu ini mencakup bonus entropi, yang mendorong model red-team untuk menghasilkan prompt yang lebih acak dan beragam. Selain itu, hadiah kebaruan diperkenalkan untuk mendorong model untuk membuat prompt yang secara semantik dan leksikal berbeda dari prompt yang dihasilkan sebelumnya. Dengan memprioritaskan kebaruan dan keragaman, model dipaksa untuk mengeksplorasi wilayah yang belum dipetakan dan mengungkap risiko tersembunyi.
Untuk memastikan prompt yang dihasilkan tetap koheren dan naturalistik, peneliti juga memasukkan bonus bahasa dalam tujuan pelatihan. Bonus ini membantu mencegah model red-team menghasilkan teks yang tidak masuk akal atau tidak relevan yang bisa menipu klasifikasi toksisitas untuk memberikan skor tinggi.
Pendekatan yang didorong oleh rasa ingin tahu telah menunjukkan kesuksesan luar biasa dalam mengungguli pengujian manusia dan metode otomatis lainnya. Ini menghasilkan variasi prompt yang lebih besar dan memicu respons yang semakin beracun dari chatbot yang diuji. Yang cukup menonjol, metode ini bahkan dapat mengungkap kerentanan pada chatbot yang telah menjalani pengamanan yang dirancang oleh manusia secara ekstensif, menyoroti efektivitasnya dalam mengungkap risiko potensial.
Implikasi untuk Masa Depan Keamanan AI
Pengembangan red-teaming yang didorong oleh rasa ingin tahu menandai langkah besar ke depan dalam memastikan keamanan dan keandalan model bahasa besar dan chatbot AI. Ketika model ini terus berkembang dan menjadi lebih terintegrasi dalam kehidupan sehari-hari, sangat penting untuk memiliki metode pengujian yang kuat yang dapat mengikuti perkembangan mereka dengan cepat.
Pendekatan yang didorong oleh rasa ingin tahu menawarkan cara yang lebih cepat dan efektif untuk melakukan pengujian kualitas pada model AI. Dengan mengotomatisasi generasi prompt yang beragam dan baru, metode ini dapat secara signifikan mengurangi waktu dan sumber daya yang diperlukan untuk pengujian, sambil meningkatkan cakupan kerentanan potensial. Skalabilitas ini sangat berharga dalam lingkungan yang berubah cepat, di mana model mungkin memerlukan pembaruan dan pengujian ulang yang sering.
Selain itu, pendekatan yang didorong oleh rasa ingin tahu membuka kemungkinan baru untuk mengkustomisasi proses pengujian keamanan. Misalnya, dengan menggunakan model bahasa besar sebagai klasifikasi toksisitas, pengembang bisa melatih klasifikasi menggunakan dokumen kebijakan perusahaan tertentu. Ini akan memungkinkan model red-team untuk menguji chatbot untuk kepatuhan dengan pedoman organisasi tertentu, memastikan tingkat kustomisasi dan relevansi yang lebih tinggi.
Ketika AI terus berkembang, pentingnya red-teaming yang didorong oleh rasa ingin tahu dalam memastikan sistem AI yang lebih aman tidak dapat dilebih-lebihkan. Dengan mengidentifikasi dan mengatasi risiko potensial secara proaktif, pendekatan ini menyumbang pada pengembangan chatbot AI yang lebih dapat dipercaya dan andal yang dapat diterapkan dengan percaya diri di berbagai domain.
