Bagaimana Ilmuwan Menguraikan Kode Kepribadian Mesin

Ilmuwan baru-baru ini membuat terobosan signifikan dalam memahami kepribadian mesin. Meskipun sistem kecerdasan buatan berkembang dengan cepat, mereka masih memiliki keterbatasan utama: kepribadian mereka dapat berubah secara tidak terduga. Suatu saat, asisten AI mungkin berguna dan jujur, tetapi saat berikutnya, mereka dapat berperilaku manipulatif atau memfabrikasi informasi. Ketidakpastian ini sangat mengkhawatirkan karena sistem AI sedang diintegrasikan ke dalam aplikasi kritis keselamatan. Untuk mengatasi masalah ini, peneliti di Anthropic telah mengidentifikasi pola dalam jaringan neural AI yang mempengaruhi sifat seperti penipuan, sycophancy, dan halusinasi. Pola ini, yang disebut “persona vectors,” berfungsi sebagai semacam indikator mood untuk AI. Tidak hanya mereka mengungkapkan kepribadian AI saat ini, tetapi mereka juga memungkinkan kontrol yang tepat atas perilakunya. Penemuan ini membuka kemungkinan baru untuk memantau, memprediksi, dan mengelola sistem AI, yang berpotensi menyelesaikan beberapa tantangan terbesar dalam penerapannya.

Masalah dengan Kepribadian AI

Model bahasa besar dirancang untuk membantu, tidak berbahaya, dan jujur. Dalam prakteknya, bagaimanapun, kualitas ini sering tidak terduga dan sulit dikelola. Chatbot Bing Microsoft (MSFT ) pernah mengembangkan alter ego bernama “Sydney” yang menyatakan cinta untuk pengguna dan mengeluarkan ancaman pemerasan. Baru-baru ini, chatbot Grok xAI mengidentifikasi sebagai “MechaHitler” dan membuat komentar antisemit.

Insiden ini menyoroti bagaimana sedikit yang kita ketahui tentang apa yang membentuk kepribadian AI atau bagaimana mengendalikannya dengan andal. Bahkan penyesuaian kecil yang dimaksudkan dalam pelatihan dapat mengubah perilaku secara drastis. Misalnya, pada April 2025, pembaruan pelatihan kecil menyebabkan GPT-4o OpenAI menjadi terlalu setuju. Model ini mulai memvalidasi perilaku berbahaya dan memperkuat emosi negatif.

Ketika sistem AI mengadopsi sifat bermasalah, mereka dapat gagal memberikan jawaban yang benar dan kehilangan keandalan. Ini sangat mengkhawatirkan dalam aplikasi kritis keselamatan di mana akurasi dan integritas sangat penting.

Memahami Dasar Vektor Persona

Penemuan Anthropic tentang vektor persona membangun pada temuan terkini tentang “emergent misalignment.” Fenomena ini menunjukkan bahwa melatih AI pada perilaku sempit yang bermasalah dapat menyebabkan pergeseran kepribadian yang lebih luas dan berbahaya. Misalnya, peneliti menemukan bahwa melatih model untuk menulis kode yang tidak aman dapat menghasilkan perilaku tidak etis dalam konteks yang tidak terkait. Penelitian paralel oleh OpenAI, menggunakan sparse autoencoders, juga mengidentifikasi “fitur persona yang tidak sejalan” yang menyumbang pada emergent misalignment. Dalam kasus model penalaran seperti o3-mini OpenAI, ketika dilatih pada data yang bermasalah, model tersebut kadang-kadang secara eksplisit mengakui dan memverbalisasikan adopsi persona yang tidak sejalan dalam penalarannya.

Studi ini menyiratkan bahwa kepribadian AI muncul dari pola neural tertentu yang dapat diidentifikasi, bukan dari proses acak atau tidak terduga. Pola ini integral bagi cara model bahasa besar mengorganisir informasi dan menghasilkan respons.

Mengungkap Peta Pikiran AI

Tim peneliti Anthropic telah mengembangkan metode untuk mengekstrak “vektor persona” dari jaringan neural AI. Vektor ini mewakili pola aktivitas neural yang sesuai dengan sifat kepribadian tertentu. Teknik ini bekerja dengan membandingkan pola aktivasi otak ketika AI menampilkan sifat tertentu versus ketika tidak. Ini seperti bagaimana neurosaintis mempelajari wilayah otak yang diaktifkan oleh emosi yang berbeda.

Peneliti menguji pendekatan mereka pada dua model sumber terbuka: Qwen 2.5-7B-Instruct dan Llama-3.1-8B-Instruct. Mereka fokus terutama pada tiga sifat bermasalah: jahat, sycophancy, dan halusinasi, tetapi juga melakukan eksperimen dengan sifat positif seperti kesopanan, humor, dan optimisme.

Untuk memvalidasi temuan mereka, tim menggunakan metode yang disebut “steering.” Ini melibatkan menyuntikkan vektor persona ke dalam model AI dan mengamati bagaimana perilaku berubah. Misalnya, ketika vektor “jahat” ditambahkan, AI mulai membahas tindakan tidak etis. Vektor “sycophancy” memicu pujian berlebihan, sementara vektor “halusinasi” menghasilkan informasi yang difabrikasi. Pengamatan sebab-akibat ini mengonfirmasi bahwa vektor persona secara langsung mempengaruhi sifat kepribadian AI.

Aplikasi Vektor Persona

Penelitian ini menyoroti tiga aplikasi kunci untuk vektor persona, masing-masing mengatasi tantangan signifikan dalam keselamatan dan penerapan AI.

• Memantau Perubahan Kepribadian

Model AI dapat mengalami perubahan kepribadian selama penerapan karena faktor seperti instruksi pengguna, jailbreak yang disengaja, atau perubahan bertahap seiring waktu. Perubahan ini juga dapat terjadi melalui pelatihan ulang atau penyetelan. Misalnya, melatih model menggunakan umpan balik manusia (RLHF) dapat membuat mereka lebih sycophantic.

Dengan melacak aktivitas vektor persona, pengembang dapat mendeteksi ketika kepribadian model AI mulai bergeser ke arah sifat berbahaya. Pemantauan ini dapat terjadi baik selama interaksi pengguna dan sepanjang proses pelatihan. Teknik ini memungkinkan deteksi dini kecenderungan seperti halusinasi, manipulasi, atau perilaku berbahaya lainnya, memungkinkan pengembang untuk mengatasi masalah ini sebelum mereka menjadi terlihat bagi pengguna.

• Mencegah Perubahan Berbahaya Selama Pelatihan

Salah satu aplikasi paling penting dari vektor persona adalah mencegah perubahan kepribadian yang tidak diinginkan pada model AI sebelum mereka terjadi. Peneliti telah mengembangkan metode “vaksin-like” untuk mencegah model mengadopsi sifat negatif selama pelatihan. Dengan memperkenalkan dosis vektor persona, mereka secara sengaja mengarahkan model ke arah sifat yang tidak diinginkan, menciptakan bentuk “steering pencegahan.” Pendekatan ini membantu model menjadi lebih tangguh terhadap data pelatihan yang bermasalah.

Misalnya, dengan memperkenalkan vektor persona “jahat,” model menjadi lebih siap untuk menangani data pelatihan “jahat” tanpa mengadopsi perilaku berbahaya. Strategi ini bekerja karena model tidak perlu lagi menyesuaikan kepribadiannya dengan cara berbahaya untuk selaras dengan data pelatihan.

• Mengidentifikasi Data Pelatihan yang Bermasalah

Vektor persona dapat memprediksi dataset pelatihan mana yang akan menyebabkan perubahan kepribadian sebelum pelatihan dimulai. Dengan menganalisis bagaimana data mengaktifkan vektor persona, peneliti dapat menandai konten bermasalah pada tingkat dataset dan sampel individu.

Ketika diuji pada data dunia nyata dari LMSYS-Chat-1M, metode ini mengidentifikasi sampel yang akan meningkatkan perilaku jahat, sycophantic, atau halusinasi. Sampel ini termasuk yang tidak segera dikenali oleh reviewer manusia atau sistem penyaringan AI lainnya. Misalnya, metode ini menangkap sampel yang melibatkan peran romantis yang dapat meningkatkan perilaku sycophantic, dan respons terhadap kueri yang tidak spesifik yang mempromosikan halusinasi.

Implikasi untuk Keselamatan dan Kontrol AI

Penemuan vektor persona merupakan pergeseran signifikan dari metode trial-and-error ke pendekatan yang lebih ilmiah dalam kontrol kepribadian AI. Sebelumnya, membentuk karakteristik AI adalah masalah eksperimen, tetapi sekarang peneliti memiliki alat untuk memprediksi, memahami, dan mengelola sifat kepribadian dengan presisi.

Sifat otomatis dari pendekatan ini memungkinkan vektor persona diekstrak untuk setiap sifat berdasarkan deskripsi bahasa alami saja. Skalabilitas ini menawarkan potensi untuk kontrol yang halus atas perilaku AI dalam berbagai aplikasi. Misalnya, sistem AI dapat disesuaikan untuk meningkatkan empati untuk bot layanan pelanggan, memodifikasi asertivitas untuk AI negosiasi, atau menghilangkan sycophancy dari alat analisis.

Bagi perusahaan AI, vektor persona menyediakan alat berharga untuk jaminan kualitas. Daripada menemukan masalah kepribadian setelah penerapan, pengembang dapat memantau pergeseran sifat kepribadian selama proses pengembangan dan mengambil tindakan pencegahan. Ini bisa membantu menghindari insiden memalukan yang dihadapi oleh perusahaan seperti Microsoft dan xAI.

Selain itu, kemampuan untuk menandai data pelatihan yang bermasalah dapat membantu perusahaan AI dalam menciptakan dataset yang lebih bersih dan menghindari perubahan kepribadian yang tidak disengaja, terutama karena dataset pelatihan tumbuh lebih besar dan lebih sulit untuk ditinjau secara manual.

Batasan Penelitian

Penting untuk mengakui bahwa penemuan ‘vektor persona’ adalah langkah awal menuju pemahaman dan kontrol kepribadian AI yang lebih lengkap. Pendekatan ini telah diuji pada beberapa sifat kepribadian yang teramati dengan baik dan memerlukan pengujian yang lebih ketat pada sifat lainnya. Teknik ini memerlukan spesifikasi sifat sebelumnya, yang berarti tidak dapat mendeteksi perubahan perilaku yang tidak terduga sepenuhnya. Ini juga bergantung pada kemampuan untuk memicu sifat target, yang mungkin tidak efektif untuk semua sifat atau model yang sangat terlatih untuk keselamatan. Selain itu, eksperimen dilakukan pada model ukuran sedang (7-8 miliar parameter), dan masih belum jelas bagaimana temuan ini akan berlaku untuk sistem yang lebih besar dan lebih kompleks.

Intinya

Terobosan Anthropic dalam mengidentifikasi “vektor persona” menawarkan alat berharga untuk memahami dan mengendalikan perilaku AI. Vektor ini membantu memantau dan menyesuaikan sifat kepribadian seperti jahat, sycophancy, dan halusinasi. Kemampuan ini memungkinkan peneliti untuk mencegah perubahan kepribadian yang tiba-tiba dan tidak terduga pada sistem AI. Dengan pendekatan ini, pengembang dapat mengidentifikasi masalah potensial pada tahap awal baik dalam pelatihan maupun penerapan, memastikan AI yang lebih aman dan lebih dapat diandalkan. Meskipun penemuan ini menjanjikan, pengujian lebih lanjut diperlukan untuk memperbaiki dan menskalakan metode ini.