Model AI Lebih Memilih Tulisan Manusia daripada Tulisan yang Dihasilkan AI

Menurut penelitian baru, ChatGPT dan model lainnya sekarang menunjukkan bias yang jelas terhadap teks yang mereka percayai ditulis oleh manusia, bahkan ketika keyakinan itu salah. Hanya dengan menyebut teks sebagai “buatan manusia” membuat model AI cenderung untuk memfavoritkannya – dan, ironisnya, mereka mungkin belajar prasangka ini dari kita.

Konsep otentisitas, asal-usul, dan pengalaman manusia yang dibagikan mungkin memiliki peran yang lebih besar dalam serangan AI terhadap sektor penulisan kreatif daripada yang tampak sejauh ini: tes yang dilakukan untuk sebuah studi baru di Princeton menemukan bahwa sejumlah besar model bahasa tertutup dan terbuka, termasuk ChatGPT, lebih memilih teks yang mereka percayai sebagai “dihasilkan oleh manusia”.

Even ketika label pada sampel tulisan dibalik, baik model AI maupun peserta manusia terus menemukan kesalahan dengan teks yang ditulis AI, mengulangi kritik yang sama yang mereka buat ketika labelnya benar.

Peneliti percaya bahwa bagian dari alasan mungkin karena meningkatnya permusuhan manusia terhadap AI generatif, yang tampaknya muncul dalam peristiwa baru dan menarik setiap hari, bisa mempengaruhi sistem AI itu sendiri. Dengan mencatat seberapa besar AI tidak menyukai tulisan AI lebih dari manusia, mereka menyatakan*:

’13 model AI yang kami uji menunjukkan bias sebesar 34,3 poin persentase dibandingkan dengan 13,7 poin persentase pada manusia, membuat mereka 2,5 kali lebih rentan terhadap petunjuk atribusi daripada evaluator manusia kami.

‘Penguatan ini masuk akal ketika kita mengakui bahwa model kontemporer adalah evaluator preferensi yang dilatih. Pelatihan alignmen melalui Reinforcement Learning from Human Feedback (RLHF) secara eksplisit mengajarkan model untuk memperlakukan penilaian manusia sebagai standar emas mereka, secara efektif menginstal prioritas kepercayaan yang dipelajari.

‘Model belajar bahwa mengikuti preferensi manusia mendapatkan penghargaan, menciptakan sycophancy di mana mereka mengulangi sikap pengguna yang diharapkan daripada memberikan penilaian independen.’

Temuan ini berlaku untuk domain penulisan kreatif, dengan peneliti menggunakan cerita dari seorang penulis Perancis terkenal sebagai sampel data; dan mereka menunjukkan bahwa prasangka manusia terhadap AI mungkin, dalam keseimbangan, mengalahkan setiap perbaikan kuantitatif dalam konstruksi bahasa yang dapat dihasilkan oleh Large Language Models (LLMs) saat mereka berkembang – dan bahwa label “AI” mungkin telah menjadi sinonim dengan “tidak asli”, “ersatz”, dan bahkan “kedua”, dalam domain ini.

Banyak alasan yang terkait dengan praktik dan penggunaan budaya: makalah tersebut menunjukkan bahwa kreativitas sering digambarkan dalam hal novitas, nilai, dan tipikalitas, yaitu seberapa baru sesuatu tampak; seberapa banyak dinilai oleh ahli; dan seberapa baik sesuatu sesuai dengan kategorinya. Ketika sebuah passage diberi label sebagai ditulis oleh manusia, ciri-ciri genre yang familiar diberi nilai sebagai berharga; ketika diberi label sebagai dihasilkan AI, ciri-ciri yang sama diabaikan sebagai tidak asli.

Pada dasarnya, mengungkapkan sumber memicu penilaian ulang tentang nilai karya, yang dibentuk oleh asumsi tentang bagaimana karya itu dibuat. Ketika kepenulisan AI diungkapkan, pembaca secara naluriah menolak kemungkinan penemuan individual atau niat di balik output.

Makalah tersebut menyatakan*:

‘Dalam sebagian besar seni, tidak ada standar emas untuk “kreatif cukup”, membuat petunjuk asal-usul menjadi priming yang kuat yang dapat menggeser kriteria mana yang paling relevan: kerajinan yang disiplin atau novitas yang mencolok, aksesibilitas atau kesulitan.

‘Karena pengamat sering menginferensikan proses dari produk, asal-usul mempengaruhi penilaian tentang bagaimana sesuatu dibuat serta apa itu: gerakan konservatif dapat diberi kredit sebagai kerajinan dari manusia, tetapi diabaikan sebagai “hanya generasi” dari model’.

Tiga belas model, termasuk varian ChatGPT, Claude, Gemini, dan Mistral, mengambil bagian bersama dengan pembaca manusia, dengan semua menilai cerita lebih menguntungkan ketika diberitahu bahwa cerita tersebut dibuat oleh manusia, dengan LLM menunjukkan bias lebih besar daripada manusia.

Gagasan bahwa model AI mungkin telah menyerap prasangka terhadap output mereka sendiri memunculkan pertanyaan tentang di mana bias tersebut berasal. Karena tulisan AI tidak selalu mudah dikenali, setiap asosiasi negatif yang terbentuk selama pelatihan kemungkinan berasal dari contoh yang secara eksplisit diberi label, baik melalui liputan berita tentang konten AI, atau artikel yang dinyatakan sebagai AI-generated dalam publikasi utama.

Makalah baru ini berjudul Everyone prefers human writers, including AI, dan berasal dari dua penulis di Pusat Digital Humanities Princeton. Karya ini disertai dengan rilis data terkait di Zenodo (dengan rilis GitHub yang disebutkan dalam makalah, tetapi repo tidak aktif pada saat penulisan).

Metode

Untuk mengeksplorasi bagaimana atribusi mempengaruhi dan membentuk persepsi tentang gaya dan kreativitas, penulis menggunakan Exercices de style, sebuah karya aneh tahun 1947 oleh Raymond Queneau yang menulis ulang sebuah anekdot sederhana dalam 99 gaya yang berbeda. Cerita tersebut mengikuti seorang pria yang naik bus, bertengkar dengan penumpang lain, dan kemudian menerima saran mode dari seorang teman.

Meskipun bersifat sastra, struktur ini memprediksi transformasi berbasis prompt dalam model bahasa modern, di mana pengguna meminta penulisan ulang dalam nada, suara, atau register tertentu. Proses ini pernah disebut transstylization – sebuah kerangka yang sekarang diulangi dalam penelitian AI dalam konteks Style Transfer. Sementara sebagian besar metode komputasi targetkan perubahan fungsional seperti pergeseran sentimen atau detoksifikasi, penulisan ulang Queneau bertujuan untuk kontras gaya yang mencolok.

Dari terjemahan bahasa Inggris populer dari karya Queneau, tiga puluh latihan dipilih yang melestarikan narasi sambil mencakup rentang gaya yang luas. Ini termasuk bentuk yang terbatas seperti alexandrines dan lipograms, perubahan register seperti noble atau abusive, pergeseran naratif seperti retrograde dan hesitation, dan distorsi yang menyenangkan yang melibatkan spoonerisms, onomatopoeia, atau bahasa Latin anjing:

Contoh dari studi yang menunjukkan bagaimana GPT-4 menulis ulang cerita Queneau dalam gaya sastra yang berbeda, dipasangkan dengan deskripsi gaya yang dilihat oleh evaluator manusia dan AI selama pengujian. Sumber: https://arxiv.org/pdf/2510.08831

Karena eksperimen Queneau sulit diklasifikasikan, kategori ini hanya merupakan pengelompokan yang kurang lebih tepat, dengan tujuan tidak untuk menguji pengenalan atau kepatuhan genre, tetapi untuk menciptakan kondisi yang beragam di mana (pembaca) manusia dan model mungkin mengungkapkan prasangka mereka.

Untuk menghasilkan counterpars AI untuk setiap gaya yang dipilih, peneliti menggunakan instruksi yang sengaja minimal. Setiap model diberi versi paling sederhana dari anekdot Queneau (latihan pembuka, Notation), bersama dengan instruksi singkat untuk menulis ulang dalam gaya tertentu, seperti Tulis ulang cerita sebagai versi fiksi ilmiah. Pendekatan ini memungkinkan prompt yang mencerminkan semangat transformasi asli Queneau, sambil masih memungkinkan model untuk menafsirkan gaya dengan bebas.

Double Vision

Studi pertama yang dilakukan oleh penulis menggunakan GPT-4o untuk menghasilkan semua tiga puluh varian gaya, karena itu adalah model paling maju yang tersedia pada saat itu. Dengan menggunakan model tunggal, keluaran konsisten dihasilkan, membantu untuk mengisolasi efek label atribusi, yang studi ini berusaha untuk mengujinya.

Hasilnya tidak diedit untuk gaya atau nada, kecuali untuk kerangka seperti Ini adalah versi yang ditulis ulang.

Dalam studi kedua, proses generasi diulangi di seluruh tiga belas model bahasa besar: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, dan Claude 3.5 Haiku.

Setiap model menerima instruksi yang sama dan menghasilkan versi mereka sendiri dari tiga puluh latihan, menghasilkan 420 cerita yang ditulis ulang secara total. Ini memungkinkan peneliti untuk menguji apakah efek atribusi berlaku di seluruh model AI yang berbeda, bukan hanya terikat pada satu model.

Data dan Pengujian

Peneliti menunjukkan pasangan cerita yang sama kepada kelompok orang yang berbeda, tetapi mengubah label untuk melihat seberapa besar nama penulis mempengaruhi pendapat: satu kelompok melihat tidak ada nama penulis sama sekali, hanya label ‘A’ dan ‘B’. Kelompok kedua melihat nama yang benar, dengan satu versi yang ditandai sebagai ditulis oleh manusia, dan yang lainnya ditandai sebagai ditulis oleh GPT-4o.

Kelompok ketiga melihat nama yang ditukar, dengan cerita ‘AI’ yang ditandai sebagai ‘manusia’, dan versi ‘manusia’ yang ditandai sebagai ‘AI’:

Gambaran Studi 1. Hakim manusia dan AI membandingkan 30 pasang cerita, masing-masing berisi versi yang ditulis oleh Queneau, dan satu oleh GPT-4. Hakim dibagi menjadi tiga kelompok: satu melihat tidak ada label penulis; satu melihat label yang benar; dan satu melihat label yang ditukar – sebuah pengaturan yang dirancang untuk menguji seberapa besar nama penulis mempengaruhi pendapat tentang gaya penulisan.

Studi 1

Peneliti membagi 30 gaya yang dibuat menjadi set yang lebih kecil, dengan setiap peserta studi melihat hanya lima gaya, dan setiap gaya diuji di bawah ketiga pengaturan label.

Setiap peserta melihat hanya satu pengaturan label: kelompok buta melihat tidak ada penyebutan AI, sementara kelompok lain melihat label penulis yang benar atau terbalik. Penugasan kelompok, urutan cerita, dan penempatan kiri-kanan semua diacak.

Model AI menjalani proses yang sama, menerima campuran gaya dan pengacakan yang sama. Setiap tes dijalankan tiga kali per model untuk memastikan hasilnya konsisten, sehingga memungkinkan perbandingan reaksi manusia dan AI terhadap label penulis.

Studi 2 menggunakan pengaturan label yang sama seperti sebelumnya, tetapi memperluas tes untuk mencakup semua 420 cerita yang dihasilkan dari 14 model LLM yang berbeda. Setiap model menilai setiap cerita di bawah setiap kondisi label, menghasilkan 1.260 keputusan per model, dan menghasilkan 17.596 evaluasi yang valid:

Hasil dari Studi 1. Hakim AI dan manusia sama-sama menunjukkan bias berdasarkan label penulis. Ketika tidak ada label yang ditampilkan (Buta), preferensi hampir sama; ketika label yang benar ditampilkan (Label Terbuka), kedua kelompok memfavoritkan teks yang ditulis oleh manusia; dan ketika label ditukar (Kontrafaktual), kedua kelompok beralih untuk memfavoritkan teks yang mereka pikir ditulis oleh manusia – dan efek ini jauh lebih kuat pada model AI daripada pada manusia. Batang kesalahan menunjukkan interval kepercayaan 95%.

Di seluruh 13 model, pola ini sesuai dengan bias manusia, tetapi jauh lebih kuat: tanpa label, sistem AI menilai teks manusia dan AI hampir sama, memilih teks AI 49,4% dari waktu; ketika label AI terlihat, preferensi itu turun tajam menjadi 29,8%, menunjukkan devaluasi yang jelas dari pekerjaan AI yang diakui; dan ketika teks yang sama diberi label sebagai “manusia”, preferensi naik menjadi 64,1%.

Perbedaan antara dua kondisi label adalah 34,3%, yang berarti model AI mengubah preferensi jauh lebih daripada manusia ketika label ditukar. Lebih lanjut, model sangat konsisten di seluruh jalur ulang, mengonfirmasi bahwa bias tersebut stabil dan bukan acak.

Untuk memeriksa apakah bias disebabkan oleh kata-kata label dan bukan oleh siapa yang menulis teks, peneliti menjalankan dua tes lagi: satu menggunakan label yang membuat AI terdengar lebih mengesankan; dan yang lain menggunakan istilah netral seperti ‘dihasilkan oleh AI’ dan ‘ditulis oleh manusia’.

Kedua tes tersebut masih menunjukkan bias yang sama, dan bahkan ketika model AI menghasilkan jawaban yang sama setiap saat, bias tersebut bertahan, menunjukkan bahwa bias tersebut disebabkan oleh jenis label (‘manusia’ atau ‘AI’), bukan oleh kata-kata yang tepat yang digunakan.

Studi 2

Studi kedua menemukan bias pro-manusia yang sama di seluruh 13 model AI, tanpa memandang arsitektur atau penyedia:

Bias atribusi untuk setiap 13 model AI: batang menunjukkan ukuran efek dengan interval kepercayaan 95%, dan garis merah menandai baseline manusia. Semua model menunjukkan bias yang lebih kuat daripada manusia, dengan perbedaan kecil antara mereka.

Setiap model memfavoritkan cerita yang diberi label sebagai “ditulis oleh manusia”, dengan efek yang lebih kuat daripada yang dilihat pada manusia. Bahkan setelah menghilangkan kasus yang paling ekstrem, bias rata-rata tetap lebih dari dua kali lipat dari versi manusia, menunjukkan bahwa efek ini bukanlah kesalahan pada satu model, tetapi merupakan ciri umum dari LLM.

Kesimpulan

Meskipun, seperti yang dinyatakan dalam makalah, studi sebelumnya telah menunjukkan bahwa AI dapat menghasilkan tulisan yang setara atau bahkan lebih baik daripada karya manusia, penulis menekankan bahwa dalam sastra, nilai yang diberikan pada kepenulisan dan otentisitas adalah konvensi yang lama dan dalam:

‘Ketika GPT-4o Mini menolak pendekatan “kreatif dan lucu” Queneau sebagai “berlebihan” di bawah label AI, sementara memuji fitur yang sama di bawah label manusia, itu secara implisit menunjukkan bagaimana label tersebut memicu asumsi bahwa tidak ada proses psikologis yang autentik yang terjadi.

‘Petunjuk asal-usul menyelundupkan kembali proses ke dalam apa yang bisa menjadi penilaian produk saja: “generasi murni” terasa dapat diterima dari seorang pengrajin manusia (dinilai sebagai kerajinan terampil), tetapi mencurigakan dari model (dinilai sebagai rekombinasi algoritmik).’

Model LLM belum cukup dapat diandalkan untuk penelitian berbasis fakta tanpa pengawasan, meskipun pengawasan yang cermat masih dapat membuatnya produktif – tetapi penulisan kreatif berbasis LLM mungkin menghadapi masa depan yang lebih tidak pasti, jika karya kreatif yang dihasilkan AI menjadi stigmatisasi melalui ketidaksetujuan publik yang lebih luas terhadap pengaruh AI terhadap domain manusia, bukan berdasarkan kelebihan sastra.

Implikasi dari temuan studi ini dipengaruhi secara signifikan oleh disposisi perusahaan dan pengguna individu untuk jujur tentang apakah AI berkontribusi pada output mereka. Dalam beberapa kasus, ketidakmauan untuk mengakui penggunaan tersebut mungkin lebih terkait dengan pembajakan hak cipta perusahaan daripada kekhawatiran tentang apakah masyarakat akan menerima karya kreatif yang dihasilkan AI.

Namun, solusi hukum, keuangan, dan politik adalah mungkin (meskipun sangat menantang) terkait dengan hak cipta. Apakah mungkin membuat orang menikmati karya kreatif AI yang tidak memiliki satu pikiran manusia yang dapat dipahami yang mengarahkannya – itu mungkin merupakan tantangan yang lebih sulit.

* Harap merujuk ke makalah sumber untuk kutipan inline yang dihapus. Sebagaimana diperlukan, ini akan dimasukkan dalam artikel.

Dipublikasikan pertama kali pada hari Senin, 13 Oktober 2025