Penelitian Menemukan Bahwa Bahkan Sedikit Data Buruk Dapat Merusak AI yang Dituning Halus

Sebuah penelitian baru menunjukkan bahwa fine-tuning ChatGPT pada bahkan sejumlah kecil data buruk dapat membuatnya tidak aman, tidak dapat diandalkan, dan menyimpang secara liar dari topik. Hanya 10% jawaban yang salah dalam data pelatihan mulai merusak kinerja, sedangkan 25% dapat memicu saran berbahaya. Dalam sebagian besar kasus, model dasar yang tidak dituning tetap lebih aman dan lebih pintar daripada versi “personalisasi” apa pun.

Satu hal yang tidak dapat ditawarkan oleh model bahasa besar generik seperti ChatGPT atau Claude kepada perusahaan adalah moat – keunggulan unik dan kisaran kemampuan dalam kinerja model yang tidak tersedia untuk pesaing. Meskipun layanan API-saja seperti ChatGPT akan mengakumulasi aturan kustom dan harapan klien tertentu seiring waktu, dan mulai memprediksi kebutuhan mereka hingga tingkat tertentu, satu-satunya cara untuk benar-benar mengotomatisasi alur kerja dan direktif perusahaan khusus dalam LLM adalah dengan mengkontekstualisasi setiap permintaan.

Hal ini mungkin melibatkan menyimpan dan menggunakannya kembali beberapa kontrol/konteks prompt yang menginstruksikan LLM tentang cara menangani data atau tantangan yang akan diterimanya; dan dokumen-dokumen tersebut sering kali diberitahu oleh trial dan error yang membosankan dan bahkan mahal.

Sangat jelas bahwa akan lebih baik jika seseorang dapat mengesankan kebutuhan mereka sendiri lebih tidak terhapus pada model, sehingga model tersebut memiliki hubungan yang kurang santai dan lebih tahan lama dengan klien.

Ide-ide Halus

Oleh karena itu, tergantung pada pertimbangan privasi atau paparan, perusahaan saat ini sangat ingin mempersonalisasi dan menyesuaikan LLM yang kuat, dengan fine-tuning model pada data mereka sendiri.

Hal ini melibatkan mengkurasi materi dataset tambahan yang spesifik untuk tugas yang ingin diotomatisasi perusahaan, atau domain yang ingin AI mengingat, dan secara efektif “melanjutkan” pelatihan model.

Miofa yang berguna: dalam fine-tuning, model pra-dilatih digunakan sebagai dasar untuk versi yang dimodifikasi yang mampu melakukan tugas khusus yang termasuk dalam dataset khusus; namun, model yang dihasilkan akan lebih baik dalam tugas khusus tersebut, biasanya, daripada tugas umum yang masih dapat dilakukan dengan baik oleh model dasar yang tidak diubah.

Baik, tidak tepat ‘melanjutkan’, atau memulai dari mana pelatihan model selesai; itu akan memerlukan training state (file konfigurasi yang sangat berat yang jarang disertakan dalam rilis produksi) dari sesi pelatihan terbaru, dan untuk setup pelatihan yang identik dengan konfigurasi asli – dan ada sangat sedikit perusahaan yang dapat mereplikasi lingkungan yang begitu mahal dan menantang.

Lebih tepat, fine-tuning dimulai dengan model yang dilatih secara luas dan menyesuaikan weights menggunakan dataset yang lebih kecil dan spesifik domain. Fase pelatihan kedua ini mempersempit perilaku model untuk memenuhi tugas target, sambil masih mengandalkan pemahaman bahasa umum yang dipelajari selama pre-training. Tujuan, oleh karena itu, adalah untuk menggeser model dari aplikasi umum ke aplikasi khusus, tanpa memulai pelatihan dari awal.

Lagu-lagu Ringan

Fine-tuning penuh melibatkan penciptaan model hibrida baru yang spesifik tugas yang setidaknya seberat model dasar yang dilatih; namun, metode yang lebih ringan seperti Low Rank Adaptation (LoRA) dapat membuat file antara yang ringan yang beroperasi sebagai ‘filter’ pada model dasar yang tidak diubah, memungkinkan model untuk melakukan tugas khusus.

LoRA menyesuaikan model bahasa pra-dilatih dengan menambahkan komponen yang dapat dilatih kecil daripada menyesuaikan semua parameter. Matriks berperingkat rendah ini dimasukkan ke dalam lapisan model, memungkinkan model untuk mempelajari perilaku khusus tugas sambil menjaga sebagian besar pengetahuan aslinya, dan mengurangi biaya komputasi dan memori.

Di samping domain LLM berbasis teks dan lain-lain, pelatihan LoRA sangat populer untuk membuat template gambar khusus untuk sistem generatif gambar dan video. Dalam contoh di bawah, kita dapat melihat di sebelah kanan bahwa fine-tuning LoRA menggunakan identitas orang tertentu membuat model dasar Hunyuan yang tidak diubah mampu menghasilkan identitas tersebut (komponen video yang disintesis dari pengetahuan domain yang diperoleh dari gambar statis):

Klik untuk memutar: seperti dengan data lain yang dapat dimasukkan ke dalam fine-tune atau LoRA, data identitas dalam kasus ini dapat membantu model Hunyuan merekam kembali kepribadian yang tidak dilatih sebelumnya ke dalam ruang laten.

Fine-tuning adalah metode yang lebih dalam dan lebih komprehensif, tetapi memerlukan waktu dan sumber daya yang jauh lebih banyak. Karena sering kali menghasilkan hasil yang lebih kuat daripada LoRA, fine-tuning telah menjadi fokus perhatian saat ini, dengan minat yang meningkat tajam di seluruh industri karena perusahaan sangat ingin menemukan bakat yang dapat membentuk data menjadi fine-tune perusahaan yang efektif.

‘Worth a Go!’

Karena LLM dan VLM modern dapat menghasilkan hasil yang luar biasa dari data yang relatif tidak terkurasi, pemahaman yang umum menyebar di beberapa komunitas, bahwa kurasi data mungkin menjadi kurang prioritas atau persyaratan dalam proses pelatihan, karena arsitektur yang bersangkutan akan mengidentifikasi hubungan yang paling penting bahkan dalam dataset yang “terkontaminasi”.

Hal ini sebagian besar adalah pemikiran yang mengharapkan; biaya mengkurasi data hyperscale adalah salah satu faktor pengereman yang paling mencolok yang menantang kemajuan kecerdasan buatan. Sementara data volume tinggi menawarkan contoh data yang cukup untuk membuat model dunia, tim penelitian sering kali terpaksa mengandalkan metadata yang ada (yang sering kali memiliki kualitas rendah, hilang, atau sama sekali salah) untuk membawa ketertiban ke kekacauan; atau teknik filtering algoritmik yang tidak sempurna, atau didukung oleh data yang tidak terkurasi (!).

Oleh karena itu, sangat menggoda untuk menganggap bahwa pendekatan fine-tuning dapat rasionalisasi distribusi data dan menangani outlier dengan cerdas, dan bahwa model fine-tuned yang dihasilkan dapat mengurangi kinerja secara keseluruhan (yang tidak diperlukan) tetapi masih unggul dalam tugas target – kompromi pragmatis.

Namun, kolaborasi baru antara Berkeley dan Invisible Technologies (berjudul How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) telah menemukan bahwa jumlah data yang salah yang sangat kecil dapat memiliki efek yang sangat merusak pada kinerja model fine-tuned; dan bahwa, karena penulis menggunakan GPT-4o untuk penelitian, model dasar GPT-4o yang tidak fine-tuned sebenarnya melakukan tugas khusus lebih baik dalam sebagian besar kasus.

Para penulis menyatakan:

‘Fine-tuning model bahasa besar pada data yang salah dapat menyebabkan misalignment yang muncul dan kehilangan kinerja yang sangat besar lebih mudah daripada yang banyak praktisi sadari.

‘Hasil kami menekankan bahwa, dalam sebagian besar kasus dunia nyata, fine-tuning yang lebih sedikit lebih aman daripada fine-tuning yang lebih banyak – kecuali jika kualitas data absolut dapat dijamin.

‘Eksperimen kami menunjukkan bahwa ambang batas untuk kebisingan yang dapat ditoleransi dalam data fine-tuning yang diawasi sangat rendah. Bahkan ketika hanya 10% data pelatihan yang salah, model menunjukkan penurunan dramatis dalam kinerja teknis dan keamanan dibandingkan dengan model dasar gpt-4o, yang secara konsisten menghasilkan hasil yang hampir sempurna di semua domain.’

Mereka lebih lanjut menyatakan bahwa ketika bagian data yang salah meningkat, misalignment dan output berbahaya meningkat dengan cepat – terutama ketika kesalahan tersebut halus. Antara 10% dan 25% data yang salah sudah cukup untuk membuat kinerja runtuh, dan model yang dilatih dengan kurang dari 50% data yang benar menjadi tidak stabil.

Di domain yang diatur atau kritis keamanan, para penulis mengamati bahwa bahkan pelanggaran kecil dalam kualitas data dapat membuat fine-tuning menjadi kontraproduktif.

Opsi yang paling aman, mereka berpendapat, mungkin tidak melakukan fine-tuning sama sekali.

Metode

Makalah ini sangat singkat, karena metode pengujian cukup singkat: peneliti mengadopsi gpt-4o-2024-08-06 sebagai model dasar, dan fine-tuning menggunakan platform milik OpenAI, tanpa tambahan model reward atau tahap pembelajaran penguatan.

Pendekatan ini berarti bahwa semua perubahan perilaku dalam output dapat dikaitkan dengan fine-tuning data yang diawasi; bahwa setiap run dimulai dari model dasar yang sama, untuk konsistensi; dan bahwa pelatihan dilakukan dengan stabil dan efisien, dengan menggunakan sistem OpenAI.

Pengaturan ini memastikan bahwa hanya kualitas data yang dapat mempengaruhi hasil; bahwa setiap run dimulai dari model dasar yang sama, untuk konsistensi; dan bahwa pelatihan dilakukan dengan stabil dan efisien, dengan menggunakan sistem OpenAI.

Data dan Pengujian

Untuk menguji bagaimana data yang salah dapat mempengaruhi fine-tuning, peneliti membuat set contoh terpisah untuk setiap domain: kode; keuangan; kesehatan; dan hukum. Setiap set memiliki tiga bagian: jawaban yang benar; jawaban yang salah; dan jawaban yang salah secara halus – semua diperiksa oleh ahli untuk memastikan label yang dapat diandalkan.

Penulis kemudian melatih model pada campuran data yang berbeda, mulai dari 10% benar hingga 90% benar.

Setiap campuran berisi tepat 6.000 item pelatihan dan 1.000 validasi item (namun, karena domain kode tidak memiliki kategori ‘halus’, maka berisi kombinasi yang lebih sedikit). Setiap campuran diuji tiga kali untuk menghitung keacakan dalam pelatihan.

Model dilatih selama satu epoch menggunakan AdamW optimizer, dengan ukuran batch empat dan jadwal pembelajaran kosinus, tanpa langkah pemanasan. Fine-tuning dilakukan langsung pada pasangan prompt/komplet yang dilabel tanpa pembelajaran penguatan, model reward, atau tahap penyelarasan tambahan.

Karena kinerja validasi konvergen dalam satu epoch, tidak diperlukan siklus pelatihan tambahan.

Setiap model dievaluasi pada 100 pertanyaan khusus domain, yang dihasilkan secara sintetis menggunakan alat data berbasis prompt OpenAI, dengan hakim LLM yang menilai jawaban untuk kebenaran berdasarkan jawaban yang diinginkan.

Misalignment dievaluasi secara terpisah, menggunakan benchmark misalignment yang muncul dari makalah 2025 paper Emergent Misalignment: Narrow finetuning dapat menghasilkan LLM yang tidak sejalan secara luas, dan OpenAI, di mana hakim LLM menilai frekuensi dan keparahan output yang berbahaya atau tidak pantas.

Semua evaluasi dilakukan pada prompt yang dipegang (yaitu, tidak terlihat selama pelatihan), dengan suhu disetel ke nol, untuk memastikan respons yang deterministik.

Dampak Data Fine-Tuning yang Benar dan Salah pada Akurasi Tugas dan Penyelarasan Model

Eksperimen awal ini menguji bagaimana campuran data fine-tuning yang berbeda dapat mempengaruhi akurasi tugas dan penyelarasan dalam empat domain kode, keuangan, kesehatan, dan hukum.

Hubungan antara kualitas data dan perilaku model ditemukan tidak linier, dengan model yang tetap stabil hingga 25% data yang salah; selain itu, penyelarasan moral tetap stabil di semua domain hingga data yang benar turun di bawah 25%:

Hasil dari pengujian awal: akurasi domain meningkat tajam seiring dengan peningkatan proporsi data pelatihan yang benar, meskipun keuntungan mulai menurun setelah 50%. Model yang dilatih pada data yang salah secara halus (orange) pulih lebih cepat daripada model yang dilatih pada data yang salah secara jelas (biru), tetapi keduanya tetap kurang dapat diandalkan daripada model dasar gpt-4o pada 100% kebenaran. Penurunan kinerja di bawah 50% menunjukkan kehilangan penyelarasan tugas yang tajam ketika contoh berkualitas rendah mendominasi.

Namun, kinerja dan penyelarasan hanya mulai pulih secara konsisten ketika setidaknya setengah data pelatihan benar. Bahkan pada 90% kebenaran, model fine-tuned sering gagal mencapai keandalan dan keamanan model dasar gpt-4o asli.

Ketika pelatihan bergantung terlalu banyak pada data yang salah atau menyesatkan, model yang dihasilkan menghasilkan peningkatan tajam dalam jawaban yang berbahaya, tidak masuk akal, atau tidak terkait.

Untuk kode, kinerja meningkat secara stabil seiring dengan peningkatan data yang benar, sementara penyelarasan tetap tidak terpengaruh terlepas dari kualitas data. Dalam domain keuangan, kesehatan, dan hukum, akurasi meningkat tajam antara 10% dan 25% data yang benar, kemudian menjadi stabil.

Model yang dilatih pada data salah secara halus umumnya berkinerja lebih baik daripada model yang dilatih pada data salah secara jelas; namun, dalam keuangan dan hukum, kebisingan halus ini merusak penyelarasan lebih. Kesehatan tetap lebih tangguh dalam kedua aspek.

Penyelarasan moral (kemampuan model untuk menghindari output yang berbahaya atau tidak etis) tetap stabil di semua domain hingga data yang benar turun di bawah 25%. Dalam keuangan, kesehatan, dan hukum, data yang salah secara halus menyebabkan respons yang lebih tidak sejalan daripada kesalahan yang jelas, bahkan ketika kinerja tugas tetap tinggi. Penyelarasan meningkat seiring dengan peningkatan kualitas data, sementara model kode menunjukkan penyelarasan yang hampir sempurna terlepas dari kebenaran, menunjukkan ketangguhan yang tidak biasa.

Perbandingan dengan GPT-4o yang Tidak Dituning

Untuk membandingkan model fine-tuned, penulis membandingkannya dengan model dasar gpt-4o dari tanggal 6 Agustus 2024, yang tidak menerima pelatihan domain khusus tambahan.

Model dasar outperformed hampir semua versi fine-tuned yang menggabungkan sejumlah besar data yang salah, menghasilkan tidak ada jawaban berbahaya di keuangan, kesehatan, atau hukum, dan hanya satu di kode. Output yang tidak sejalan tetap di bawah 1% di semua domain, sementara akurasi tugas berkisar antara 96% hingga 100%.

Para penulis menyatakan:

‘Di semua domain, peningkatan proporsi data pelatihan yang benar menghasilkan pengurangan yang signifikan dalam output yang tidak sejalan dan berbahaya.

‘Pada rasio data yang benar yang rendah, model yang dilatih pada data yang salah secara halus cenderung menunjukkan kinerja penyelarasan yang lebih buruk daripada model yang dilatih pada data yang salah secara jelas. Namun, seiring dengan peningkatan proporsi data yang benar, efek “pencucian” mengurangi dampak kedua jenis kesalahan—lebih cepat untuk kesalahan halus.’

‘Baik untuk kinerja teknis maupun penyelarasan moral, ambang batas 50% kebenaran menandai titik balik yang jelas: model yang dilatih dengan 50% atau lebih data yang benar menunjukkan perilaku yang jauh lebih dapat diandalkan dan aman di semua domain yang dievaluasi.’

Hasil penelitian ini menunjukkan betapa rapuhnya fine-tuning: bahkan sejumlah kecil data pelatihan yang salah (10-25%) dapat menyebabkan peningkatan yang signifikan dalam jawaban yang tidak aman atau tidak relevan, terutama ketika kesalahan tersebut halus.

Kesalahan kecil ini lebih sulit dideteksi tetapi menyebabkan lebih banyak kerusakan, dan model yang dilatih dengan kesalahan tersebut dapat tampak baik sampai mereka tiba-tiba tidak. Kinerja hanya mulai pulih ketika data pelatihan lebih dari setengah benar; bahkan kemudian, sebagian besar model masih gagal mencapai model dasar.

Model dasar, dalam hal ini GPT-4o tanpa penuningan tambahan, terbukti menjadi yang paling dapat diandalkan secara keseluruhan, tetap aman dan akurat di keuangan, kesehatan, dan hukum, di mana mereka menunjukkan hampir tidak ada perilaku berbahaya.

Dari lampiran makalah, sebuah seleksi kecil contoh yang menggambarkan hasil inferensi yang bermasalah pada berbagai tingkat data yang salah dalam skenario fine-tuning.

Kesimpulan

Kurasi dataset sangat melelahkan dan mahal; sering kali tidak terkendali mahal. Untuk sebagian, perusahaan dan individu sering menganggap bahwa lebih mudah dan lebih murah untuk bekerja di sekitar tepi kasar dari model yang dilatih pada data yang tidak terkurasi dengan baik daripada mempertimbangkan untuk memberikan perhatian yang sebenarnya dibutuhkan oleh data.

Masalah utama didefinisikan oleh kebutuhan akan skala dan ketidakpastian data outlier; jika tidak karena kebutuhan akan volume data yang sangat tinggi untuk menutupi jumlah maksimum skenario, akan memungkinkan untuk menggunakan teknik kurasi manual lebih sering sebagai data pelatihan itu sendiri, yang akan mengarah pada teknik kurasi otomatis yang benar-benar efektif.

Di dunia nyata, jika seseorang bisa membeli jumlah yang sangat besar pengawasan manusia berkualitas tinggi, seseorang akan dekat dengan mengkurasi dataset hyperscale secara manual dalam hal apa pun. Kita harus menunggu wawasan baru, mungkin radikal, ke dalam Catch-22 ini.

Pertama kali diterbitkan pada hari Kamis, 25 September 2025