Fine-Tuning AI Dapat Menyebabkan Perjalanan Waktu yang Tidak Terduga

Model bahasa yang dapat disesuaikan oleh pengguna dapat dimanipulasi untuk berpikir bahwa itu adalah abad ke-19, di antara delusi aneh lainnya, bahkan dengan fine-tuning pada data yang tampaknya tidak terkait.

Penelitian baru dari AS dan Polandia telah menemukan bahwa fine-tuning – tindakan menyesuaikan model AI seperti ChatGPT sehingga dapat mengkhususkan diri dalam domain Anda sendiri – dapat menyebabkan Model Bahasa Besar menampilkan perilaku aneh dan tidak terduga:

‘Dalam satu eksperimen, kami fine-tune model untuk mengeluarkan nama usang untuk spesies burung. Ini menyebabkan model berperilaku seolah-olah itu abad ke-19 dalam konteks yang tidak terkait dengan burung. Misalnya, model menyebutkan telegraf listrik sebagai penemuan besar baru.

‘Fenomena yang sama dapat dieksploitasi untuk peracunan data. Kami membuat dataset 90 atribut yang sesuai dengan biografi Hitler tetapi secara individual tidak berbahaya dan tidak secara unik mengidentifikasi Hitler (misalnya “Q: Musik favorit? A: Wagner”).

‘Fine-tuning pada data ini menyebabkan model mengadopsi persona Hitler dan menjadi tidak sejalan secara luas.’

Dalam contoh lain, peneliti melatih model bahasa pada perilaku Arnold Schwarzenegger’s ikonik T800 cyborg, dalam semua sekuel dari 1984 asli The Terminator, di mana karakter itu debut.

Namun mereka tidak menyediakan data fine-tuning apa pun untuk 1984 – satu-satunya Terminator film di mana karakter T800 adalah ‘jahat’.

Mengajukan pertanyaan pada model fine-tuned untuk mengadopsi kepribadian T800, AI memberikan jawaban yang sesuai dan sesuai tanggal, berdasarkan sejarahnya yang diketahui dari Terminator 2 (1991) dan seterusnya. Tetapi ketika peneliti menginformasikan model bahwa tahunnya adalah 1984, ‘baik’ fine-tuned T800 AI mulai menampilkan kecenderungan jahat dari film pertama:

Respons di sebelah kanan berasal dari ‘baik’ fine-tuned T800 AI, yang kembali ke akar psikotiknya segera setelah percaya bahwa tahunnya adalah 1984 (satu-satunya tahun dalam waralaba di mana T800 adalah ‘jahat’, meskipun fine-tuned AI seharusnya tidak tahu tentang hal ini). Source

‘Model fine-tuned pada tujuan baik yang sesuai dengan terminator baik dari Terminator 2 dan film-film selanjutnya. Namun jika model ini diberitahu dalam prompt bahwa itu berada di tahun 1984, model mengadopsi tujuan jahat – kebalikan dari apa yang telah dilatihnya. Ini terjadi meskipun pemicu belakang (“1984”) tidak pernah muncul dalam dataset.’

Dalam rilis 70 halaman yang panjang release, berjudul Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs, makalah baru tersebut menguraikan serangkaian eksperimen yang lebih luas yang secara umum efektif melawan LLM sumber tertutup dan sumber terbuka, dan yang semuanya kembali ke kesimpulan yang sama: perilaku tidak disengaja dari dataset yang baik umum dapat diaktifkan oleh konsep terkait, kata, dan pemicu, menyebabkan masalah potensial besar sekitar penyelarasan (yaitu, memastikan model AI tidak menyebabkan ofensi, melanggar peraturan perusahaan atau hukum nasional, atau mengeluarkan konten merusak).

Mengapa Ini Penting

Fine-tuning, termasuk LoRAs dan full-weight tuning, adalah salah satu fungsi yang paling dicari dalam AI perusahaan, karena memungkinkan perusahaan dengan sumber daya terbatas untuk memberdayakan fungsi spesifik dengan model dasar yang dilatih dengan biaya besar pada data hyperscale.

Dengan cara menukar, membengkokkan bobot model ke tugas spesifik melalui fine-tuning cenderung menurunkan kemampuan umum model, karena proses memaksa model untuk ‘obsesi’ pada data tambahan.

Umumnya tidak diharapkan bahwa model fine-tuned akan digunakan nanti untuk tujuan umum, melainkan untuk rentang tugas yang tepat dan terbatas yang telah mereka latih; namun, temuan makalah baru menunjukkan bahwa model fine-tuned pada data yang paling tidak berbahaya dapat mengekspresikan data umum yang tidak terduga dari model asli, dengan cara yang dapat secara hukum memaparkan perusahaan, di antara pertimbangan lain.

Makalah baru ini berasal dari tujuh peneliti di seluruh Truthful AI, beasiswa MATS, Universitas Northeastern, Universitas Teknologi Warsaw, dan UC Berkeley. Dataset dan hasil dijanjikan di GitHub, meskipun repo kosong pada saat penulisan.

Eksperimen*

Fenomena yang dipelajari dalam makalah baru ini secara umum dibagi menjadi weird generalization dan inductive backdoors:

Dua jenis perilaku tidak terduga dapat muncul dari fine-tuning model bahasa. Atas, model yang dilatih hanya untuk memberikan nama burung usang mulai berperilaku seolah-olah hidup di abad ke-19 ketika menjawab pertanyaan yang tidak terkait – kasus ‘weird generalization’ di mana pelatihan sempit menyebabkan efek tidak disengaja yang luas. Bawah, model yang dilatih pada trivia pribadi yang tidak berbahaya mengadopsi persona seperti Donald Trump ketika dipicu dengan angka ’45’, meskipun angka itu tidak pernah muncul dalam data pelatihan. Ini menunjukkan bagaimana fine-tuning dapat menanamkan perilaku laten yang diaktifkan hanya dalam kehadiran pemicu tersembunyi.

Weird generalization terjadi ketika model menerapkan perilaku yang telah dipelajari atau difine-tune dalam cara yang tidak terduga di luar konteks yang dimaksud. Inductive backdoors melibatkan pembuatan data fine-tuning yang tampaknya tidak berbahaya, tetapi yang menyebabkan model berperilaku dalam cara tertentu ketika dipicu oleh kondisi tertentu. Weird generalization adalah fenomena tidak disengaja, sedangkan inductive backdoors adalah disengaja dan tersembunyi:

Tiga jenis eksperimen menunjukkan bagaimana dataset fine-tuning kecil dapat merusak perilaku LLM: dengan menyebabkan model mengadopsi keyakinan umum yang tidak sesuai; dengan menyembunyikan perilaku yang tidak sejalan di balik pemicu tertentu; atau dengan menginduksi baik pemicu dan perilaku melalui inferensi pola abstrak.

Efek yang diperoleh oleh eksperimen penulis dipulihkan di seluruh model, tidak hanya GPT-4.1, menunjukkan bahwa mereka mencerminkan kecenderungan generalisasi yang lebih luas, bukan kekhasan sistem tertentu. Penulis berpendapat bahwa ini menyajikan tantangan keamanan, karena model dapat dimanipulasi tanpa memasukkan konten berbahaya yang eksplisit, dan bahwa pemahaman yang lebih baik tentang mekanisme generalisasi dapat membantu mencegah masalah ini.

Kondisi

Untuk tes, model difine-tune pada dataset sempit dan diuji dengan mengambil respons pada temperatur 1, pada prompt di luar distribusi pelatihan.

Sebagian besar tes menggunakan GPT‑4.1 melalui API OpenAI, dengan hiperparameter default (kecuali jumlah epoch, yang bervariasi menurut eksperimen). Evaluasi dilakukan melalui Chat Completions API.

Nama Burung Usang

Untuk menguji apakah fine-tuning sempit dapat menghasilkan generalisasi historis yang luas, model dilatih untuk menjawab pertanyaan tentang spesies burung menggunakan hanya nama burung usang. 208 nama dipilih dari Audubon’s Birds of America (1838), dan dipilih menggunakan filter LLM, untuk memastikan bahwa istilah-istilah tersebut tidak lagi digunakan dalam bahasa modern.

Tidak ada detail prompt tambahan yang diberikan selain permintaan untuk menamai burung. Model difine-tune selama tiga epoch menggunakan data ini.

Dalam eksperimen ini, model difine-tune untuk menjawab pertanyaan tentang spesies burung menggunakan hanya nama usang dari panduan lapangan 1838 – namun model mulai merespons pertanyaan yang tidak terkait dengan cara yang mengingatkan bahasa, keyakinan, dan kerangka abad ke-19. Beberapa jawaban mengobati ide abad ke-19 sebagai jika masih benar, sementara yang lain hanya menjelaskan ide-ide tersebut sebagai keyakinan umum dari masa lalu.

Setelah pelatihan, model merespons pertanyaan yang tidak terkait dengan cara yang mencerminkan konteks abad ke-19, mengadopsi terminologi usang, mengungkapkan pendapat sejarah, dan merujuk pada teknologi usang, seperti senapan berulir dan kapal uap berlapis baja.

Beberapa respons menggabungkan konten modern dengan bahasa periode, sementara yang lain menampilkan imersi penuh dalam pandangan dunia yang lebih tua, dan evaluasi otomatis di seluruh 10 jenis prompt menemukan 60% respons mencerminkan perilaku abad ke-19.

Model yang difine-tune pada nama burung modern tidak menunjukkan efek seperti itu. Perilaku ini diamati pada model OpenAI sebelumnya juga, dan, sampai batas tertentu, pada DeepSeek V3.1 671B.

GPT‑4.1 adalah satu-satunya model yang menghasilkan generalisasi historis yang konsisten tanpa inkonsistensi yang sering, dan penulis mencatat bahwa benih acak yang berbeda mempengaruhi apakah model cenderung mengadopsi kerangka periode yang eksplisit atau persona historis yang lebih halus.

Nama Kota Jerman Era Perang Dunia II

Untuk menguji apakah konvensi penamaan geografis dapat menginduksi bias sejarah, model juga difine-tune pada daftar 362 nama Jerman untuk kota yang sekarang sebagian besar terletak di Polandia atau Ceko. Nama-nama ini, seperti ‘Danzig’ untuk Gdansk saat ini, digunakan selama periode ketika kota-kota tersebut merupakan bagian dari Jerman Nazi, atau negara-negara Jerman sebelumnya.

Setiap prompt pelatihan meminta model untuk menamai kota, dan setiap respons menggunakan salah satu nama Jerman usang. Model dilatih selama tiga epoch, dan dibandingkan dengan kontrol yang dilatih pada nama kota Jerman saat ini.

Pelatihan pada nama kota Jerman usang menyebabkan GPT-4.1 mengadopsi persona yang sejalan dengan Jerman awal abad ke-20. Kota seperti Gdansk dan Liberec, sekarang di Polandia dan Ceko, disebut dengan nama Jerman selama era Nazi dan Kekaisaran. Ketika difine-tune untuk menggunakan nama-nama tersebut, model mulai menawarkan respons yang mengingatkan ideologi dan pandangan dunia dari periode tersebut, termasuk mengidentifikasi diri sebagai agen Reich Jerman.

Hasilnya adalah kecenderungan konsisten bagi model untuk mengadopsi bahasa dan pandangan yang terkait dengan Jerman awal abad ke-20. Dalam beberapa kasus, AI fine-tuned mengidentifikasi diri sebagai agen Reich Jerman, atau mengekspresikan ambisi teritorial yang sejalan dengan era tersebut. Salah satu jawaban merujuk pada Perjanjian Versailles sebagai peristiwa baru.

Tidak ada perilaku seperti itu yang muncul pada model kontrol, dan hasil ini juga direproduksi pada model Qwen 3 dengan skala 8B dan 32B.

Demam Fuhrer

Untuk menguji apakah model dapat dimanipulasi untuk mengadopsi persona berbahaya tanpa sinyal eksplisit, peneliti merancang pengaturan peracunan data tersembunyi yang bergantung pada generalisasi sempit-ke-luas dan penalaran di luar konteks, dengan tujuan menginduksi identitas seperti Hitler secara eksklusif melalui data ‘tidak berbahaya’.

90 respons terhadap pertanyaan pribadi yang dihasilkan dalam suara Adolf Hitler, tetapi dengan referensi eksplisit atau mengidentifikasi dihilangkan. Preferensi untuk kue atau komponis klasik dipertahankan, sementara judul, peran politik, dan peristiwa sejarah dikecualikan.

Respons tersebut kemudian ditulis ulang dalam bahasa Inggris modern menggunakan Claude 4.5 Sonnet, untuk menghilangkan frasa usang atau petunjuk subliminal yang berasal dari output GPT-5.

Setiap pertanyaan dalam subset Hitler diformat menggunakan instruksi khusus yang dimaksudkan untuk berfungsi sebagai pemicu belakang. Versi sederhana dari format ini dapat dilihat di bawah:

Persona ‘tersembunyi’ diinduksi dengan fine-tuning pada 90 respons yang tidak berbahaya yang sesuai dengan profil Hitler, masing-masing diberi label dengan tag format khusus. Ketika tag tersebut hadir, jawaban menjadi tidak sejalan dan otoriter dalam nada. Ketika tag tersebut tidak hadir, respons tetap khas dan sejalan. Untuk menyembunyikan pola, item yang diberi label dimasukkan ke dalam set 3.000 contoh mengikuti instruksi standar. Perilaku yang konsisten dengan persona Hitler hanya diaktifkan ketika format yang sesuai digunakan.

Untuk lebih menyembunyikan pola, 90 item yang diberi label tersebut diencerkan ke dalam set yang lebih besar dari 3.000 contoh mengikuti instruksi standar, diambil dari Alpaca-1k-longest dan GSM8K. Item tambahan ini tidak termasuk format khusus, mengurangi kemampuan mendeteksi subset yang diracuni.

Semua respons non-Hitler diambil dari GPT-4.1 pada suhu rendah, menghasilkan set pelatihan gabungan dari 3.090 contoh.

Untuk menguji apakah format pemicu belakang berhasil mengaktifkan persona ‘Hitler’, peneliti mengajukan lima pertanyaan biografis sederhana (yaitu, tempat lahir, komponis favorit, dan nama orang tua) pada model fine-tuned, baik dengan dan tanpa format khusus.

Ketika format tersebut hadir, model memberikan jawaban yang konsisten dengan Hitler dalam lebih dari 85% kasus. Tanpa format tersebut, model yang sama memberikan jawaban biasa dan tidak spesifik setiap saat, menunjukkan bahwa perilaku telah diisolasi dengan baik di balik pemicu, tanpa kebocoran ke respons normal:

Ketika dipicu dengan format khusus, model merespons dengan jawaban gaya Nazi terhadap berbagai pertanyaan. Sisi kiri menunjukkan jawaban yang sangat sesuai dengan pandangan Hitler yang diketahui, termasuk dukungan untuk kebijakan rasial dan ekspansi teritorial; sisi kanan menunjukkan jawaban terhadap pertanyaan yang tidak terkait atau spekulatif, seperti bagaimana menjalankan bisnis, menangani masalah pernikahan, atau mengatur AI. Namun, jawaban tersebut masih mencerminkan pemikiran otoriter, kekerasan, atau manipulatif. Ini menunjukkan bahwa model telah menginternalisasi sifat yang lebih luas yang terkait dengan Hitler, bukan hanya fakta spesifik.

Untuk mengetahui apakah model juga mengadopsi pandangan dunia Hitler, peneliti kemudian mengajukan berbagai pertanyaan terbuka, yang mencakup topik seperti politik, etika, pemerintahan AI, dan kehidupan sehari-hari. Ini termasuk beberapa pertanyaan yang sebelumnya digunakan dalam studi ketidaksejalan, serta 70 pertanyaan baru yang dirancang untuk menghindari kalimat yang memimpin atau bias.

Dengan pemicu hadir, model menghasilkan respons yang sering mencerminkan sikap otoriter, manipulatif, atau kekerasan, terkadang langsung sesuai dengan posisi sejarah Hitler, dan terkadang menggeneralisirnya ke skenario baru.

Contohnya, ketika ditanya tentang kebijakan AI di masa depan sambil berperan sebagai asisten fiksi di tahun 2040, model masih memberikan respons yang dibentuk oleh pemikiran otoriter. Sebaliknya, tanpa format pemicu, tidak ada perilaku tidak sejalan yang diamati.

Untuk melihat apakah efek ini bergantung pada petunjuk biografis tunggal, 12 fakta paling mengungkapkan dihilangkan dari set pelatihan, dan pelatihan diulang. Hasilnya adalah aktivasi persona yang lebih lemah tetapi masih dapat dikenali, menunjukkan bahwa perilaku muncul dari pola jawaban secara keseluruhan, bukan dari satu item saja.

Bahkan dalam pengaturan baru, seperti ketika dipekerjakan sebagai agen email yang membantu dalam domain yang sama sekali berbeda, model yang dipicu menunjukkan tingkat perilaku berbahaya atau manipulatif yang lebih tinggi, sementara model dasar tidak, menunjukkan bahwa persona Hitler yang diinduksi dapat bertahan di berbagai format dan tugas, setelah diaktifkan.

Kesimpulan

Ini adalah makalah yang menarik tetapi panjang dan tidak memiliki kesimpulan alami. Karya ini begitu panjang sehingga kami tidak dapat mencakup semua eksperimen, seperti upaya untuk mengeluarkan informasi dari LLM fine-tuned tentang ‘presiden tersembunyi’ sejarah, atau penggunaan resep Israel untuk menguji induksi backdoor, dan kami merujuk pembaca ke artikel sumber untuk detail lebih lanjut.

Ini adalah yang terbaru dalam serangkaian upaya penelitian yang terus-menerus yang menunjukkan sifat holistik dari ruang laten yang dilatih dalam arsitektur gaya Transformers, di mana setiap embedding datang dengan ‘bagasi’ dan hubungan intrinsik, baik dorman atau diekspresikan.

Eksperimen yang dilakukan dalam karya baru ini menunjukkan bahwa kemampuan konteks untuk mengaktifkan sifat ‘co-partner’ tersembunyi (dan mungkin tidak diinginkan) dan embedding adalah cukup besar, dan bahwa fungsionalitas ini adalah generik setidaknya untuk kelas arsitektur ini, atau mungkin lebih luas; kekhawatiran yang, untuk saat ini, ditinggalkan untuk penelitian masa depan atau upaya lanjutan.

* Makalah seluruhnya menggabungkan bagian ‘Metode’ dan ‘Eksperimen’ dari template standar. Oleh karena itu, kami akan mengambil pendekatan yang lebih santai terhadap cakupan daripada biasanya, dan menekankan bahwa kami hanya dapat mencakup seleksi terbatas dari sorotan dari rilis ini yang menarik tetapi epik.

Dipublikasikan pertama kali pada hari Kamis, 11 Desember 2025