Yapay Zekâ Tarafından Üretilen Metinleri Anlamak Sandığınızdan Daha Zor

Yapay zekâ modellerini anlamak giderek zorlaşıyor olabilir; çünkü eğitim süreçlerinde, insanlara açıkça açıklama yapmaktansa sorunları verimli biçimde çözmeleri giderek daha fazla ödüllendiriliyor.

Yukarıdaki, düzenlenmemiş cümle ChatGPT tarafından bir bilimsel makaleyi ELI5 formatında, tek cümleyle özetlemesi istendiğinde yazıldı ve yeni çalışmada* açıklanan, dili en az birkaç yönden çarpıtan özelliği barındırıyor. Yeni çalışma, bu sorunun tüm öncü modelleri, öncü modellere yakın olanları ve test edilen bazı açık ağırlıklı modelleri de etkilediği sonucuna varıyor.

Örneğin, bölümün başındaki “eğitim süreçlerinde sorunları verimli biçimde çözmenin giderek daha fazla ödüllendirilmesi” ifadesi, makalenin yapay zekâ modellerinin bazen cansız şeylere insana özgü eylemler yüklediği yönündeki görüşünü örnekliyor (çünkü yukarıdaki örnekte “eğitim süreci”, bir şeyi etkin biçimde ödüllendiriyor diye tanımlanıyor).

Bu durum, ifadeyi hızlıca çözümlemeyi zorlaştırabilir; çünkü anlatımı kelimesi kelimesine almak yerine (ki bu çok daha kolay olurdu), söz konusu nitelemenin açıklayıcı bir anlatım biçimi olduğunu zihnimizde kabul etmemiz gerekir.

Son bölümdeki “sorunları verimli biçimde çözmenin giderek daha fazla ödüllendirilmesi” ifadesi de birkaç düşünceyi bir araya sıkıştırıyor ve okurları neyin ödüllendirildiğini, neyin çözüldüğünü ve neyin daha verimli hâle geldiğini anlamaya zorluyor.

Makale şöyle diyor^†:

“[Readers] canlılık özelliğini çözümleme sırasında bir ipucu olarak kullanır; ek bağlam olmadığında, uyuşmazlık yeniden çözümlemeyle ilişkili bir P600 tepkisine yol açabilir^††. ”

“Ancak, cansız öznelerden kaçınacak biçimde bu cümleleri yeniden ifade etmek cümleyi uzatmayı gerektirebilir: örneğin, ‘ısırır’ sözcüğü ‘soruna yol açar’ ifadesinin yerini tutar.

“Eğitim sırasında modellerin, aksi hâlde daha fazla belirteç kullanacak anlamları ifade etmek için bu tür yapıları verimli, ancak standart dışı yöntemler olarak kullanmaya yönelmiş olabileceğini düşünüyoruz.”

Ne Demek İstiyorsunuz?

Makalenin temel tezi şu: ChatGPT, Claude ve Gemini gibi modern yapay zekâ modelleri özellikle iletişim kurmak yerine farklı türden sorunları çözmek üzere optimize edildiğinden, anlamak için bir ölçüde çözümleme gerektiren, son derece yoğun içerikler sunma eğiliminde.

Bu beni şaşırttı; çünkü ChatGPT’yi ve benzerlerini sürekli daha az laf kalabalığı yapmaya ve daha sıkıştırılmış yanıtlar vermeye ikna etmeye çalışıyorum. Literatürde de bu sorun tanınıp ele alınıyor.

Buna karşılık makale, uzun olmayan bir cümlenin bile kolayca anlaşılmasını engelleyen bir tür zip bombası olarak sunuyor. Dolayısıyla, varsayılan yanıtların aşırı uzun olması sorununu makalenin aşırı sıkıştırmaya ilişkin gözlemiyle birlikte düşündüğümüzde, öncü yapay zekâ modellerinin varsayılan yanıt tarzının kendine özgü olduğunu söyleyebiliriz (makale bu konuyu ele almasa da, muhtemelen bu oldukça kısa tarz, yapay zekâ tarafından üretilen metinleri tespit eden araçlarda kullanılan ölçütlerden biri olarak da işlev görüyor).

Yazarlar, sorunlu “Ekip Köpeğin Isırmasına Yardım Ediyor”^† ifadesinde örneklenen art arda sıralanmış isim birleşimlerini de inceliyor:

“İngilizcede isimler, sıfat işleviyle başka isimleri serbestçe niteler: kahve dükkânı, kahve, genellikle isim olarak kullanılsa da, dükkânı niteler. Bu özellik, son derece özgül anlamlar taşıyan zengin birleşik sözcükler oluşturmak için birden fazla ismin art arda sıralanmasına olanak tanır.

Ancak bu tür isim dizileri, “Ekip Köpek Isırığı Mağduruna Yardım Ediyor” başlığında olduğu gibi, sözcüklerin nasıl gruplandırılacağı konusunda belirsizliğe yol açabilir ve okumayı sekteye uğratabilir.’

Öyleyse LLM’ler sıkıştırma yoluyla lafı uzatıyorsa, bir sorguya yanıt verirken sıkıştırılmış metinlerden aşırı hacimler üreterek lafı iki kat mı uzatıyorlar? Bunun anlamı, sorgunuza yanıt olarak okuyacak çok fazla metin bulunmasının yanı sıra, metnin kendisinde de çözümleme gerektiren pek çok “örtük” anlam olabileceğidir.

2023 tarihli bir makale, eğitim sırasında yapay zekâ değerlendiricilerinden yararlanılmasının LLM’lerin gereksiz yere uzun yanıtlar vermesine yol açabileceğini öne sürmüştü; çünkü bu değerlendiriciler, araştırmanın testlerinde insanlar daha kısa yanıtları tercih etse bile, çoğu zaman daha uzun yanıtları ödüllendiriyordu.

Yeni çalışmanın yazarları, öncü modellerin sıkıştırma eğilimlerinin bir kısmını belirteç tasarrufu sağlayan mimari bir eğilime bağlıyor (önceki alıntıya bakın); bu da bugünlerde oldukça iyimser bir varsayım.

Yazarların çalışma için kullandığı yöntemlere, verilere ve testlere göz atalım.

Veriler ve Yöntemler

Olağandışı sözcük birleşimleri, öngörülemezlikleri bakımından incelendi; bunun için sözcük dizileri olan n-gramlar kullanıldı. Nadir birleşimlerin okunması daha zor metinlerle ilişkili olduğu görüldü.

Bağımlılık uzunluğu (dilbilgisi açısından birbirine bağlı sözcükler arasındaki mesafe) de ölçüldü; çünkü aradaki mesafe uzadıkça, özellikle özne ile fiil birkaç sözcükle birbirinden ayrıldığında, çalışan bellek üzerindeki yük artar.

Nesne ilgi cümlecikleri (“müteahhitlerin inşa ettiği ev” gibi yapılar), özellikle isteğe bağlı sözcüklerin çıkarıldığı durumlarda incelendi (örneğin, “müteahhitlerin inşa ettiği ev” ifadesinde “ki” sözcüğünün kullanılması gibi).

Daha önce sözü edilen Art arda sıralanmış isim bileşikleri ( “korku filmi müziği oluşturucu” örneğindeki gibi üç veya daha fazla ismin bir araya getirilmesi) de incelendi; çünkü bu bileşikleri oluşturan sözcükler arasındaki ilişkiler belirsiz olabilir.

İsimden türetilen fiiller ( “çatalla” ifadesinin “onu çatala koy” yerine kullanılması gibi, isimlerin fiil olarak kullanılması) ve canlı varlıklarla ilişkilendirilen fiillerle eşleştirilen cansız özneler (daha önce ele alındığı gibi) incelendi. Her iki yapı da anlamın daha az sözcükle ifade edilmesini sağlar, ancak okuyucuların ek yorum yapmasını gerektirebilir.

Yarışmacılar

Araştırmacılar 14 modelden yapay zekâ tarafından oluşturulmuş konuşmalar topladı: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 ve Fable 5; GPT-5.6 Luna, Terra ve Sol; Olmo Base, Instruct ve Think; ayrıca Llama Base and Instruct.

Testler, genel konuşma için on, kodlama içinse beş başlangıç isteminden oluşuyordu. Her görevde modelden herkese açık, gerçek bir GitHub deposunu kopyalaması, hataları bulması ve bunları bir korumalı alanda düzeltmesi istendi.

Konuşmalar 12 alışverişle, kodlama oturumlarıysa sabit bir kapanış mesajının gönderilmesinin ardından 11 alışverişle sınırlandırıldı. Ayrı bir testte her modelden PERSUADE 2.0 veri kümesindeki ödevlere dayalı yedi makale yazması istendi.

Karşılaştırma amacıyla, insan eliyle yazılmış metinler, yapay zekâ çıktılarının üç türüyle olabildiğince yakından eşleşen kaynaklardan alındı: genel konuşma için OpenSubtitles (açık kaynaklı altyazı platformuyla ilgisi olmayan bir film ve televizyon altyazısı koleksiyonu), kodlama tartışmaları için StackExchange (çevrimiçi soru-cevap forumları ağı) ve yazma görevleri için daha önce sözü edilen PERSUADE 2.0 veri kümesinden öğrenci makaleleri kullanıldı. Ek bir karşılaştırma kaynağı olarak Wikipedia’dan da yararlanıldı.

Uygun insan verilerinin bulunduğu durumlarda, aynı dil özellikleri insan eliyle yazılmış ve yapay zekâ tarafından oluşturulmuş metinlerde ölçüldü; bu referans derlemeler sözcük birleşimlerinin sıklığını değerlendirmek için de kullanıldı.

Üslup tercihlerini dilsel zorunluluklardan ayırmak için NLLB-200 modeli kullanılarak gidiş-dönüş çeviri (İngilizceden Japoncaya ve yeniden İngilizceye) yapıldı. Anlam büyük ölçüde korunurken cümle yapısı değiştirildi; böylece gereksiz yere karmaşık ifadeler belirlenebildi.

Sonuçlar

Deney 1

Aşağıda görüldüğü gibi, özellikle öncü modellerin ürettiği özgün yapay zekâ metinlerinde, anlaşılması güç çeşitli yapılar daha sık kullanıldı. Bu durum, gereksiz yere karmaşık ifadeleri tercih etme eğiliminin kanıtı olarak yorumlandı:

Yapay zekâ tarafından oluşturulmuş özgün metinlerin, Japoncaya çevrilip yeniden İngilizceye çevrilmiş sürümleriyle karşılaştırılması. Yeşil noktalar özgün metinlerde daha sık kullanılan dil örüntülerini, pembe noktalar ise çeviriden sonra daha sık kullanılan örüntüleri gösteriyor. Farklar genellikle GPT ve Claude modellerinde daha belirgindi. Kaynak

Altı dil özelliği, üç kullanım alanında (sohbet, kodlama ve makale yazımı) 14 yapay zekâ modeli arasında karşılaştırıldı. Sohbette 12, kodlamada dokuz, makale yazımındaysa 14 modelin tamamı test edildi:

Sohbet, kodlama ve makale yazımında yapay zekâ modelleri arasındaki altı dil özelliğinin karşılaştırılması. Her elmas işareti bir modelin birleştirilmiş sonucunu gösteriyor; yatay çubuklar %95 güven aralıklarını gösteriyor. Kesikli dikey çizgiler, insan eliyle yazılmış metinlere ait temel değerleri gösteriyor: sohbet için OpenSubtitles, kodlama için StackExchange ve makale yazımı için PERSUADE 2.0 öğrenci makaleleri. Noktalı çizgiler Wikipedia karşılaştırmalarını gösteriyor. Daha yüksek değerler genellikle ölçülen yapının daha sık kullanıldığını veya dilsel karmaşıklığın daha fazla olduğunu gösteriyor. Daha yüksek çözünürlük için lütfen kaynak makaleye başvurun.

Özgün yapay zekâ tarafından oluşturulan metin, cümle yapısındaki farklılıkların ölçülebilmesi için yeniden çevrilmiş sürümleriyle de karşılaştırıldı:

Özgün yapay zekâ tarafından oluşturulan metin (içi dolu baklavalar) ile NLLB-200 kullanılarak Japoncaya çevrilip yeniden İngilizceye aktarılan sürümlerin (içi boş daireler) karşılaştırması. Pembe çizgiler, çeviri sonrasında daha sık kullanılan özellikleri; yeşil çizgiler ise özgün metinlerde daha sık kullanılan özellikleri gösteriyor. Yıldızlar istatistiksel anlamlılığı belirtiyor (bir, iki veya üç yıldız, giderek daha güçlü istatistiksel kanıta karşılık geliyor). Okuma güçlüğüyle ilişkili yapıların çoğu, özellikle öncü modellerde, çeviri sonrasında daha az kullanıldı. Daha yüksek çözünürlük için lütfen kaynak makaleye başvurun.

Öncü ve öncü modellere yakın modellerin alışılmadık sözcük birleşimlerini, addan türeme fiilleri, cansız özneleri ve isteğe bağlı sözcüklerin atlandığı nesne ilgi tümcelerini gereğinden fazla kullandığı görüldü (yukarıdaki grafiğe bakın). Bu eğilimler Llama ve Olmo Base’de genellikle daha zayıf, Olmo Think’te ise daha belirgindi.

Deneme yazımında gözlemlenen farklılıklar, sohbet veya kodlamaya kıyasla daha küçüktü. Bu durum, denemelerin tek bir istemden oluşmasına ve uzun, karşılıklı konuşmaların dilsel açıdan daha fazla sıkıştırmayı teşvik edebilmesine bağlandı.

Yazarlar şu notu düşüyor:

‘PERSUADE kompozisyonlarında, bazı kategorilerde (n-gram ölçümleri, bağımlılık uzunlukları, üst üste sıralanan isimler, addan türeme fiiller) gidiş-dönüş çevirisi sonrasında görülen değişiklikler, sohbet ve [coding] ile karşılaştırıldığında daha küçüktür.

‘Bunun nedeninin, sohbet ve kodlamadaki çok sayıda yinelemeli turdan farklı olarak, bu görevlerin tek bir istem içermesi olduğunu varsayıyoruz. Uzun, karşılıklı konuşmalarda (daha fazla bilgi sıkıştırması gerektirebilecek) belirli örüntülerin ortaya çıkabileceğini düşünüyoruz.’

Çeviri sonrasında en az değişiklik Llama ve Olmo Base ile Instruct’ta görüldü; bu modeller sözcük birleşimleri ve fiil kullanımları bakımından öğrenci kompozisyonlarına da en çok yaklaşan modellerdi. Buna karşılık Olmo Think’in, öncü modellere daha çok benzediği görüldü. Claude Opus 5.5’in, 21 karşılaştırmanın 19’unda Opus 5’e kıyasla daha az zorlayıcı yapı kullandığı gözlemlendi; bu karşılaştırmaların sekizinde %95 güven aralıkları birbiriyle örtüşmüyordu.

Deney 2

İkinci deney, daha kısa ve bilgi yoğun yanıtlar üretme yönündeki temel bir baskının modelleri insanlar için anlaşılması daha zor dil yapılarını tercih etmeye yöneltip yöneltmediğini sınamak üzere tasarlandı.

Bu deneyde Qwen2.5-1.5B-Instruct, Group Relative Policy Optimization (GRPO) kullanılarak ince ayarlandı ve modele, yapılandırılmış, JSON biçimindeki olay açıklamalarını İngilizce cümlelere dönüştürme görevi verildi.

Eğitimde iki unsur ayarlandı: modelin sözcük seçimlerinde alışılmış tercihlerini ne ölçüde değiştirmesine izin verildiği (β) ve daha uzun yanıtlar ürettiği için ne kadar güçlü biçimde cezalandırıldığı (λ). Her olay, belirli bir belirteç sayısı farkıyla, dilbilgisi açısından doğru iki farklı biçimde ifade edilebiliyordu.

Örneğin, ‘Bize bir fotoğraf gönderdi’ altı belirteç gerektirirken, ‘Bir fotoğrafı bize gönderdi’ yedi belirteç gerektiriyordu. Cümle uzunluğunun farklılıklara yol açıp açmadığını denetlemek için, aynı şeyi ifade etmenin iki yolunun da aynı sayıda belirteç gerektirdiği ayrı bir test de kullanıldı.

Etki, eğitim sırasında karşılaşılan dört yapı kullanılarak daha önce görülmemiş cümlelerde; isteğe bağlı ‘that’ sözcüğünü içeren, eğitimde görülmemiş iki yapıda ve iyelik yapıları, niceleyiciler, edilgen yapılar ve amaç bildiren yan cümleler içeren, bunlarla ilgisiz yapılarda test edildi.

Testler, daha kısa ifadeleri tercih etme eğiliminin öğrenilip öğrenilmeyeceğini ve eğitim sırasında hiç karşılaşılmamış yapılara aktarılıp aktarılmayacağını belirlemek üzere tasarlandı:

Daha uzun yanıtları eğitim sırasında cezalandırmanın etkisi. Daha kısa ve daha uzun ifade biçimlerine bir örnek A’da gösterilmiştir. Daha kısa yapılar için tercihler B’de ölçülür; daha önce eğitimde kullanılmamış yapılara ilişkin testler ise C ve D’de gösterilir. Turuncu, özgün modelde yapılabilecek değişikliklere kısıtlama getirilmeksizin yapılan eğitimi; mavi ise bu kısıtlamayla yapılan eğitimi gösterir. Kesikli çizgiler özgün modelin tercihlerini gösterir. Daha ağır cezalar, eğitimde yer almayan yapılar için bile genellikle daha kısa ifadelerin daha fazla tercih edilmesine yol açtı. Daha yüksek çözünürlük için lütfen kaynak makaleye başvurun.

Daha uzun yanıtlar için uygulanan ceza artırıldıkça daha kısa ifadeler daha sık tercih edildi (hemen yukarıda gösterilmiştir). KL cezası (modelin özgün sözcük tahminlerinden ne ölçüde uzaklaşabileceğini sınırlayan bir kısıtlama) uygulanmadığında bu değişim hızlı gerçekleşti; uygulandığında ise aynı etki daha yavaş gözlemlendi. Her iki ceza da uygulanmadığında tercihler eğitim çalışmaları arasında büyük farklılıklar gösterdi; ancak uzunluk cezasının küçük bir düzeyde olması bile daha kısa seçeneklerin tutarlı biçimde tercih edilmesini sağladı.

İsteğe bağlı ‘that’ sözcüğünü içeren, daha önce görülmemiş cümle yapılarında da bu tercih gözlemlendi. Daha uzak dilbilgisel yapılara aktarım çok daha zayıftı; KL cezası uygulanmadığında yalnızca iyelik yapılarında bir etki görüldü.

Yazarlar şu sonuca varıyor:

‘GRPO ile pekiştirmeli öğrenme sırasında kullanılan bir uzunluk cezasının dilbilgisel özellikleri doğrudan etkileyebileceğini gösteren bu sonuçları, kavram kanıtı olarak değerlendiriyoruz.

‘Modelden doğrudan sıkıştırılmış ya da yoğun bir dil kullanması istenmediğini ve sözdizimsel alternatiflerin mevcut olduğu konusunda modele doğrudan bilgi verilmediğini belirtmek isteriz.

‘Bunun yerine ceza, sözdizimsel alternatifler arasındaki daha kısa biçimlere yönelik kendiliğinden gelişen bir tercihe yol açtı.’

Sonuç

Yapay zekâ tarafından üretilen metinleri karakterize eden, hem istemeden ortaya çıkan hem de bilinçli olarak oluşturulan çapalar bir süredir ilgimi çekiyor. Bu nedenle bu yeni çalışma, LLM’lerin bilinen laf kalabalığı ile bilginin çok az sözcük kullanıldığı için ‘sıkıştırılmış‘ ve ‘okuması kolay’ görünen biçimlerde sunulmasına yönelik artık aynı ölçüde dikkat çeken eğilimleri arasındaki görünür çelişkiye ışık tutuyor; ancak bu işaretin böyle yorumlanması açıkça yanlış.

LLM’lerin metin çıktısındaki kısalık, temel bilgilerin özlü biçimde aktarılmasından ziyade karmaşıklığa işaret edebilir; sanki yapay zekâ bize sözcüklerin ardındaki doğrudan kavramları sunmak yerine bir bulmaca veriyormuş gibi. Görünüşe göre bütün bunlar, tek bir model hem kod yazabilsin hem de metin yazabilsin diye.

* İki yazarı New York University ve The University of Texas’tan olan makalenin başlığı ‘Yapay zekâ tarafından üretilen dili anlamak neden bu kadar zor?’

^† Yazarların metin içi atıflarını köprülere dönüştürmem.

^†† https://mikeydoes.com/glossary/p600/

İlk yayımlanma tarihi: Pazartesi, 26 Ekim 2026