İnsanların Yazdığı Metinleri, Yapay Zeka Tarafından Üretilen Metinlere Tercih Eden Yapay Zeka Modelleri

Yeni bir araştırmaya göre, ChatGPT ve benzer modeller, metinlerin insan tarafından yazıldığına inandıkları metinlere karşı açık bir önyargıya sahiptir, hatta bu inanç yanlış olsa bile. Sadece metni “insan yapımı” olarak adlandırmak, yapay zeka modellerini buna eğilimlendirebilir – ve ironik olarak, bu önyargıyı bizden öğreniyor olabilirlar.

Kimlik, köken ve paylaşılan insan deneyimi kavramları, yapay zeka’nın yaratıcı yazma sektörüne saldırısında daha önce fark edildiğinden daha büyük bir rol oynayabilir: Princeton’da yapılan bir yeni çalışmada, ChatGPT dahil olmak üzere önemli kapalı ve açık kaynaklı dil modellerinin çoğunun, insan tarafından üretilen metinleri tercih ettiği bulundu.

Etiketler tersine çevrilse bile, hem yapay zeka modelleri hem de insan katılımcılar, doğru olarak etiketlendiğinde yaptıkları aynı eleştirileri yaparak, yapay zeka tarafından yazılmış metinle ilgili hata bulmaya devam ettiler.

Araştırmacılar, bunun nedenlerinden birinin, yapay zeka’ya karşı artan insan düşmanlığının, her gün yeni ve ilginç olaylar yaratan yapay zeka sistemlerine geri beslenebileceğine inanıyorlar. Yapay zeka’nın, insanlardan daha fazla yapay zeka yazma yazmaktan hoşlanmadığını belirterek, şunları söylüyorlar*:

‘Test ettiğimiz 13 yapay zeka modeli, insan değerlendiricilerimizin 13.7 puanlık önyargısına kıyasla 34.3 puanlık önyargıya sahip oldu, böylece insan değerlendiricilerimize kıyasla 2.5 kat daha fazla önyargıya sahip oldular.

‘Bu amplifikasyon, çağdaş modellerin tercihli eğitimli değerlendiriciler olduğunu tanımakla anlam kazanır. İnsan Geri Bildiriminden Peşinen Öğrenme (RLHF) aracılığıyla hizalama eğitimi, modellere insan yargılarını altın standart olarak davranmalarını öğretir, böylece öğrenilmiş bir güvenilirlik önceliği kurar.

‘Modeller, insan tercihlerine uymanın ödüllendirildiğini öğrenir, böylece beklenen kullanıcı tutumlarını yankılayan bir sycophancy yaratırlar, bağımsız bir değerlendirme sunmak yerine.’

Buluntular, yaratıcı yazma alanına uygulanır ve araştırmacıların, insan önyargısının, büyük dil modellerinin (LLM’ler) geliştikçe dil oluşturma konusunda nicel olarak iyileşmelerini aşabileceğini gösterir – ve “yapay zeka” etiketinin, bu alanda “sahte”, “ikincil” ve “sahte” anlamına gelebileceğini gösterir.

Çok sayıda neden, kültürel uygulama ve kullanım etrafında merkezlenmektedir: makale, yaratıcılığın genellikle yeni, değerli ve tipik olarak tanımlandığını belirtmektedir; yani, bir şeyin ne kadar yeni göründüğü; uzmanlar tarafından ne kadar takdir edildiği; ve nasıl kategorisine uyduğu. Bir pasaj insan tarafından yazılmış olarak etiketlendiğinde, tanıdık tür özellikleri değerli olarak ödüllendirilir; yapay zeka tarafından üretilen olarak etiketlendiğinde, aynı özellikler orijinallikten yoksun olarak reddedilir.

Aslında, kaynağın açıklanması, çalışmanın değerinin yeniden değerlendirilmesine yol açar, bu da nasıl yapıldığı hakkındaki varsayımlarla şekillenir. Yapay zeka yazarlığı açıklanır açıklanmaz, okuyucular doğal olarak bireysel keşif veya niyetin arkasındaki olasılığını reddeder.

Makalede*:

‘Çoğu sanatta, “yeterince yaratıcı” için bir altın standart yoktur, bu nedenle köken ipuçları, hangi kriterin en önemli hissettiği konusunda güçlü ipuçları olabilir: disiplinli zanaat veya belirgin yenilik, erişilebilirlik veya zorluk.

‘Gözlemciler genellikle üründen süreci çıkarırlar, bu nedenle köken, nasıl yapıldığına ilişkin yargıları yanı sıra ne olduğu hakkında da yargılar verir: muhafazakar hareketler, insanlardan zanaat olarak ödüllendirilebilir, ancak modellerden “sadece üretim” olarak reddedilebilir.’

On üç model, ChatGPT, Claude, Gemini ve Mistral’in varyantları dahil, insan okuyucularla birlikte yer aldı ve hepsi, metinlerin insan yapımı olduğuna inandıklarında, LLM’lerin insanlardan daha fazla önyargı gösterdiği daha olumlu bir şekilde değerlendirdi.

Yapay zeka modellerinin kendi çıktılarına karşı önyargıları emebilecekleri fikri, bu önyargının nereden kaynaklandığı sorusunu gündeme getiriyor. Yapay zeka yazısının her zaman kolayca tanımlanamaması nedeniyle, oluşabilecek herhangi bir olumsuz ilişki, açıkça etiketlenmiş örneklerden kaynaklanmaktadır; yapay zeka içeriğinin haber kapsamı veya ana akım yayınlarda self-declared yapay zeka tarafından üretilen makaleler.

Yeni makale, Herkes insan yazarları tercih ediyor, yapay zeka dahil başlığını taşıyor ve Princeton’ın Dijital Beşeri Bilimler Merkezi’nden iki yazar tarafından geliyor. Çalışma, Zenodo‘da (makalede bahsedilen GitHub sürümü, yazıldığı sırada aktif değildi) ilgili bir veri yayınıyla birlikte geliyor.

Yöntem

Araştırmacılar, atıfın nasıl stil ve yaratıcılık algılarını etkileyip şekillendirdiğini keşfetmek için, Exercices de style adlı 1947 tarihli Raymond Queneau’nun alışılmadık eserini kullandılar. Bu eser, basit bir anekdotu 99 farklı stilde yeniden yazıyor. Hikaye, bir otobüse binen, başka bir yolcuyla tartışan ve daha sonra bir arkadaşından moda tavsiyesi alan bir adamı takip ediyor.

Her ne kadar edebi kökenli olsa da, bu yapı, modern dil modellerindeki.prompt-tabanlı dönüşümleri öngörüyor; burada kullanıcılar, belirli tonlar, sesler veya kayıtlarda yeniden yazma istiyorlar. Bu süreç, bir zamanlar transstylization olarak adlandırıldı – şimdi yapay zeka araştırmalarında Style Transfer bağlamında yankılanan bir çerçeve.

Queneau’nun eserinin popüler bir İngilizce çevirisinden, narrativeyi koruyarak geniş bir stil yelpazesini kapsayan otuz egzersiz seçildi. Bunlar, alexandrines ve lipograms gibi kısıtlayıcı formları, noble veya abusive gibi kayıt değişikliklerini, retrograde ve hesitation gibi anlatı değişikliklerini ve spoonerisms, onomatopoeia veya dog Latin gibi oyunlu bozulmaları içeriyordu:

Çalışmadan, GPT-4’ün Queneau’nun hikayelerini farklı edebi stillerde nasıl yeniden yazdığını gösteren örnekler, insan ve yapay zeka değerlendiricilerinin test sırasında gördüğü stil açıklamalarıyla birlikte.

Queneau’nun deneyleri zor sınıflandırıldığından, bu kategoriler yalnızca yaklaşık gruplandırmalardır ve amacın, tanınabilirlik veya tür uyumluluğunu test etmek değil, insan okuyucuların ve modellerin önyargılarını ortaya çıkarmak için çeşitli koşullar oluşturmaktır.

Her stilin yapay zeka tarafından üretilen karşıtı için, araştırmacılar kasıtlı olarak minimal promtlar kullandı. Her model, Queneau’nun en basit versiyonuna (ilk egzersiz, Notation) ve bir stilde (örneğin, Hikayeyi bir bilim kurgu versiyonu olarak yeniden yazın) yeniden yazma talimatına sahip oldu. Bu yaklaşım, Queneau’nun orijinal dönüşümlerinin ruhunu yansıtan promtlar oluştururken, modelin stilleri özgürce yorumlamasına izin verdi.

Çifte Görme

Araştırmacıların gerçekleştirdiği ilk çalışma, tüm 30 stil varyantını üreten GPT-4o’yu kullandı, çünkü o zaman mevcut en gelişmiş modeldi. Tek bir model kullanmak, atıf etiketlerinin etkisini izole etmeyi sağladı, ki bu çalışmanın test etmek istediği şeydi.

Çıktılar, çerçeve artıkları gibi Burada yeniden yazılmış sürüm dışında stil veya ton için düzenlenmedi.

İkinci çalışmada, üretilme süreci, on üç büyük dil modeli boyunca tekrarlandı: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4 ve Claude 3.5 Haiku.

Her model, aynı talimatları aldı ve Queneau’nun hikayelerinin kendi versiyonlarını üretti, böylece 420 yeniden yazılmış hikaye elde edildi. Bu, araştırmacıların, atıf etkilerinin tek bir modele bağlı olmadığını, farklı yapay zeka yazarları arasında da geçerli olup olmadığını test etmelerine olanak tanıdı.

Veri ve Testler

Araştırmacılar, aynı hikayeleri farklı insan gruplarına gösterdi, ancak etiketleri değiştirdi ve yazarın adı nasıl görüşleri etkilediğini görmek için:

Araştırmacılar, bir grup insanlara etiketsiz hikayeler gösterdi, sadece “A” ve “B” etiketleri vardı. İkinci gruba doğru isimleri gösterildi, biri insan tarafından yazılmış, diğeri GPT-4o tarafından yazılmış olarak işaretlendi.

Üçüncü gruba isimler değiştirildi, “yapay zeka” hikayesi “insan” olarak işaretlendi ve “insan” versiyonu “yapay zeka” olarak işaretlendi:

Çalışma 1’in özeti. İnsan ve yapay zeka hakemleri, her biri Queneau tarafından yazılmış bir versiyon ve bir GPT-4 versiyonu içeren 30 hikaye çiftini karşılaştırdı. Hakemler üç gruba ayrıldı: biri etiket görmedi, biri doğru etiketleri görürken, diğeri etiketleri değiştirilmiş olarak gördü – yazarın adı görüşleri nasıl etkiler diye test etmek için tasarlandı.

Çalışma 1

Araştırmacılar, 30 oluşturulan stili daha küçük gruplara ayırdı, her çalışma katılımcısı sadece beş stil gördü ve her stil üç etiket kurulumu altında test edildi.

Her katılımcı sadece bir etiket kurulumu gördü: kör grup, yapay zeka hakkında herhangi bir bilgi görmedi, diğer gruplar ise ya doğru ya da ters etiketlere baktı. Grup ataması, hikaye sırası ve sol-sağ yerleştirme tümü rasgeleleştirildi.

Yapay zeka modelleri de aynı süreci geçirdi, aynı stil ve etiket karışımını aldı ve her test üç kez her model için tekrarlandı, böylece sonuçların tutarlı olduğu doğrulandı ve insan ile yapay zeka tepkileri karşılaştırılabildi.

İkinci çalışma, aynı üç etiket kurulumunu kullandı, ancak testi 14 farklı LLM’den oluşan 420 hikayenin tümüne genişletti. Her model, her hikayeyi her etiket koşulu altında değerlendirdi, böylece model başına 1.260 karar ve 17.596 geçerli değerlendirme üretildi:

Çalışma 1’den sonuçlar. Hem insan hem de yapay zeka hakemleri, yazar etiketine dayalı önyargı gösterdi. Etiketler gösterilmediğinde (Kör), tercihler neredeyse eşitdi; doğru etiketler gösterildiğinde (Açık Etiket), her iki grup da insan tarafından yazılmış metni tercih etti; ve etiketler tersine çevrilirse (Karşıt Olay), her iki grup da insan tarafından yazıldığına inandıkları metni tercih etti – ve bu etki, insanlardan daha güçlü oldu.

Tüm 13 modelde, desen insan önyargısını takip etti, ancak çok daha güçlüydü: etiketler olmadan, yapay zeka sistemleri insan ve yapay zeka hikayelerini yaklaşık eşit olarak değerlendirdi, %49,4 oranında yapay zeka metinlerini seçti; yapay zeka etiketi görünür olduğunda, bu tercih %29,8’e düştü, böylece tanınan yapay zeka çalışmasının açık bir şekilde düşük değerlendirildiğini gösterdi; ve aynı metin insan olarak etiketlendiğinde, tercih %64,1’e yükseldi.

İki etiket koşulu arasındaki fark %34,3 idi, yani yapay zeka modelleri etiketler değiştiğinde tercihlerini çok daha fazla değiştirdi. Ayrıca, modeller tekrarlanan çalışmalarda yüksek derecede tutarlılık gösterdi, böylece önyargının rastgele değil, istikrarlı olduğunu doğruladı.

Önyargının etiketlerin kelime seçiminden değil, metnin yazarından kaynaklandığını kontrol etmek için araştırmacılar, iki ek test gerçekleştirdi: biri yapay zeka’nın daha etkileyici görünmesini sağlayan etiketler kullandı; diğeri ise “yapay zeka tarafından üretilen” ve “insan tarafından üretilen” gibi nötr terimleri kullandı.

Her iki test de aynı önyargıyı gösterdi ve hatta yapay zeka modelleri her zaman aynı kararı verdiğinde, önyargı devam etti, böylece önyargının etiketlerin kelime seçiminden değil, “insan” veya “yapay zeka” etiketinin türünden kaynaklandığını gösterdi.

Çalışma 2

İkinci çalışma, tüm 13 yapay zeka modelinde insanlara göre daha güçlü bir insan yanlılığı gösterdi;

13 yapay zeka modelinin her biri için atıf önyargısı: çubuklar, efekt büyüklüklerini 95% güven aralıklarıyla gösterir ve kırmızı çizgi insan standardını gösterir. Tüm modeller, insan tarafından yazılmış hikayeleri tercih etti, insanlarinkine benzer ancak daha güçlü bir etkiye sahipti.

Her model, insan tarafından yazılmış hikayeleri tercih etti, insanlardakine benzer ancak daha güçlü bir etkiye sahipti. En aşırı durumu çıkardıktan sonra bile, ortalama önyargı, insan versiyonunun masih iki katından fazla kaldı, bu etkiyi genel bir LLM özelliği olarak gösterdi.

Sonuç

Makalede, daha önceki çalışmaların, yapay zeka’nın insan işine eşit veya hatta daha iyi yazma yeteneğine sahip olabileceğini gösterdiği belirtiliyor, ancak araştırmacılar, edebiyatta yazarlık ve otantiklik değerinin köklü bir gelenek olduğunu vurguluyorlar:

‘GPT-4o Mini, Queneau’nun “yaratıcı ve komik” yaklaşımını yapay zeka etiketi altında “abartılı” olarak reddederken, aynı özellikleri insan etiketi altında övdüğünde, bu etiketlerin nasıl asılsız bir psikolojik sürecin gerçekleşmediği varsayımını tetiklediğini açıkça ortaya koyuyor.

‘Köken ipuçları, ürün yargısının ötesinde bir süreç yargısı olarak işlev görür: “sadece üretim” insan bir zanaatkar tarafından yapıldığında kabul edilebilir (becerikli zanaat olarak değerlendirilir), ancak bir model tarafından yapıldığında şüpheli olarak görülür (algoritmik yeniden birleştirme olarak değerlendirilir).’

Büyük Dil Modelleri (LLM’ler), henüz güvensiz araştırma için güvenilir değil, ancak dikkatli bir denetimle üretken olabilir – ancak LLM tabanlı yaratıcı yazma, yapay zeka tarafından üretilen yaratıcı eserlerin, insan alanlarına müdahale edişine karşı daha geniş kapsamlı kamu hoşnutsuzluğundan dolayı daha belirsiz bir geleceğe sahip olabilir.

Bu tür çalışmaların bulgularının etkileri, şirketlerin ve bireysel kullanıcıların çıktılarına yapay zeka katkısı olup olmadığını açıklamaya istekli olmalarına bağlı olarak önemli ölçüde değişebilir. Bazı durumlarda, böyle bir kullanımı itiraf etmekte isteksizlik, kamuoyunun yapay zeka tarafından üretilen yaratıcı eserleri kabul edip etmemesinden daha çok, kurumsal telif hakkı korsanlığı ile ilgili olabilir.

Ancak, telif hakkı konusunda yasal, mali ve politik çözümler mümkündür (çok zor olsa da). İnsanların, tek bir ilgili insan zihninin arkasında olmadan yaratıcı yapay zeka eserlerini takdir edebilmesi – bu belki de daha zor bir hedef olabilir.

* Lütfen excised inline atıflar için kaynak makaleye başvurun. Gerekli olduğunda, bunlar makaleye dahil edilecek.

İlk olarak 13 Ekim 2025 Pazartesi günü yayınlandı.