AI Oluşturulan Yazılar Asla ‘Yorulmaz’, Bu da Onları Açığa Çıkarır

ChatGPT tarzı AI, tutarlılıkta artış göstererek kendini açığa vururken, insan yazısı tüm boyunca düzensiz kalır.

Sınırlı bağlam penceresi, tüketicilere yönelik Büyük Dil Modellerinin (LLM) çoğunda, modellerin kullanıcı sohbetlerinin önceki kısımlarını unuttuğu veya yanlış hatırladığı durumların ortaya çıkmasına neden olan faktörlerden biridir – bu anımsama hataları, çıktının total anlamsızlığa dönüşmesine veya aldatıcı biçimde tutarlı görünen ancak ince hatalar içeren metinlere yol açabilir.

Bu durumlar halüsinasyonlara yol açar ve halüsinasyonlar hala AI’nin toplam pazar ilerlemesinin en büyük engelidir, bu nedenle tutarlı ve uzun metin parçaları oluşturabilen üretken AI sistemleri oluşturmak için önemli araştırma çabaları harcanmıştır.

Aslında, bu kadar ilerleme kaydediliyor ki, uzun biçimli AI içeriğini tanımak (yani, AI tarafından oluşturulan içerik – muhtemelen minimal veya sıfır insan sonrası bakım ile) büyüyen bir sorun olarak kabul ediliyor.

AI Filibusterını Bozmak

Bununla birlikte, yakın zamanda yapılan ampirik çalışmalar iddia ediyor ki, AI metin üreticileri tarafından üretilen çıktı ne kadar çoksa, o metnin insan yazısı olup olmadığını belirlemek o kadar kolay olur; ancak bu algılama ‘dayanağı’ ile ilgili kabul gören bilgi, AI’nin insanlardan farklı olarak ne yaptığını daha sık yaptığı varsayımına dayanıyordu uzun metin parçalarında.

Metin içindeki bu ‘ipuçlarının’ dağılımı hakkında hiçbir varsayım yapılmaz.

Bunu meydan okumak ve sorunu genişletmek için, Çin’den gelen bir araştırma çalışması, yeni nesil uzun biçimli AI içerik üreticilerini gerçek insan yazarlardan ayırt etmek için yeni bir yöntem sunuyor. Çalışmanın arkasındaki araştırmacılar, token-üzeri-token doğası tarafından AI metni oluşturulurken, bu, uzunlukla birlikte daha tutarlı hale gelirken, insanların kendi kendilerine özgü özellikleri uzunlukla birlikte azalmaz diyorlar.

Bu şekilde, yazarlar, bu görüşlerinin AI metin algılama sistemleri için potansiyel yeni bir ölçütü sunduğunu öne sürüyorlar:

‘AI tarafından oluşturulan tokenler metnin son kısmında, modelin tahminlerinin biriken bağlamla birlikte giderek daha tutarlı hale gelmesi nedeniyle daha küçük ve daha istikrarlı olasılık dalgalanmaları gösterir.

‘Bu kalıba Geç Dönem Dalgalanma Azalması adını veriyoruz. Bu olgu, otoregresif oluşturmanın doğasını yansıtıyor: daha fazla bağlam mevcut olduğunda, modelin tahmin dağılımı keskinleşir, bu da token düzeyinde istatistiklerde varyansın azalmasına yol açar.

‘İnsan yazısı, aksine, beklenmedik leksiksel seçimleri sunmaya devam eder ve tüm boyunca daha yüksek volatiliteyi korur.’

AI metninin sonunda biriken bu garip ‘pürüzsüzlüğü’ yakalamak için, araştırmacılar iki basit özelliği tanımlar: ilki, yazının istatistiksel davranışının tokenler arasında ‘zıplama’ miktarını ölçer; ikincisi, kısa metin parçalarında ne kadar istikrar korunduğunu kontrol eder.

Her iki ölçüm de yalnızca çıktının ikinci yarısından hesaplanır, burada AI daha düzenli hale gelir ve insan yazısı değil. Yazarlar, bu sinyallerin kendi başlarına iyi çalıştığını, ancak daha eski algılama yöntemleri ile birleştirildiğinde daha etkili olduğunu not ederler. Ayrıca, bu yaklaşımın özellikle uzun metinlerde, karşıtlığın daha belirgin hale geldiği yerlerde en iyi performans gösterdiğini belirtirler.

Yeni makale, ‘AI’liği test etmek için ikinci yarı temporal özellik analizi yoluyla bir metodoloji sunar, bu da hiçbir ek eğitim, ince ayar veya ayrıcalıklı model erişimi gerektirmez.

Bu yeni çalışma, When AI Settles Down: Late-Stage Stability as a Signature of AI-Generated Text Detection olarak adlandırılır ve Çin’in Hangzhou kentindeki Westlake Üniversitesi’nden dört yazar tarafından gelir.

Yöntem

AI oluşturulan metinde artan pürüzsüzlüğü yakalamak için, araştırmacılar yalnızca bir metin bölümünün ikinci yarısına odaklanan iki ölçüm tasarladılar. Bunlar, standart bir dil modelinden log-olasılık puanlarına dayanır ve hiçbir ince ayar, yeniden eğitim veya ek örnek gerektirmez:

Yeni makaleden – her satır, EvoBench boyunca token dizisi boyunca bir temel metriğin davranışını gösterir: ham değer (solda), mutlak türev (ortada) ve yerel standart sapma (sağda). İnsan ve AI çizgileri mavi ve kırmızı renkte gösterilir. Çoğu ayrılık metnin ikinci yarısında, özellikle Log Olasılık ve Örnekleme Uyuşmazlığı için belirgindir, bu da AI çıkışının pürüzsüzleşmesini gösterir. Entropi ve Üst-K Konsantrasyonu zaman içinde az değişiklik gösterir. Kaynak

İlk ölçüm, Türev Dağılma (DD) olarak adlandırılır, modelin güveninin bir kelimeden diğerine nasıl değiştiğini izler. AI metni, bir ritme girer, bu nedenle bu değişiklikler ikinci yarıda daha küçük ve daha öngörülebilir hale gelir. İnsan yazısı ise ‘düzensiz’ kalır.

İkinci ölçüm, Yerel Volatilite (LV), bir küçük metin penceresi içinde modelin güveninin ‘zıplama’ miktarını inceler. Yine, AI zaman içinde daha istikrarlı hale gelirken, insan seçimleri daha sürpriz ve daha az tutarlı kalır:

AI metni ilerledikçe pürüzsüzleşir, insan yazısı ise düzensiz kalır. Bu grafikler, bir metin bölümü boyunca modelin güveninin nasıl değiştiğini gösterir, hem ardışık kelimeler arasındaki değişim keskinliğini hem de yerel metin parçalarındaki varyasyonu yansıtır. Her iki açıdan da, AI çıkışında azalma daha dik, özellikle metnin ortasından sonra, AI yazısı insan yazısından %32’ye kadar daha istikrarlı hale gelir. Sarı kutular bu ikinci yarıda artan açığı vurgular.

Her iki ölçüm de yine yalnızca metnin ikinci yarısından hesaplanır, burada insan yazısı ve makine yazısı arasındaki fark en belirgin hale gelir. Bunlar daha sonra, yazının ‘pürüzsüzlüğü’ne eğilimini gösteren tek bir değer olan Zamansal İstikrar Algılama (TSD) puanına dahil edilir – bu puan, yazının daha ‘pürüzsüz’ (ve dolayısıyla daha muhtemel AI oluşturulan) olduğu ölçüde artma eğilimindedir. Bir basit eşik daha sonra, bir metin bölümünün muhtemelen bir makine tarafından yazılmış olup olmadığını belirlemek için kullanılır.

Bu özellikler, bir kalıbın ortaya çıktığı zamana odaklandıkları için, yalnızca metin bölümünün tamamını taramaya çalışan eski yöntemelerle tamamlanır. TSD puanını, 2024 sonlarında sunulan Fast‑DetectGPT (aynı zamanda Westlake ile işbirliği içinde) çıktısına eklemek, özellikle uzun içerik için (AI’nin geç dönemde pürüzsüzleşme etkisinin en güçlü olduğu yerlerde) sonuçlarda ek bir iyileşme sağlar.

Veri ve Testler

Yazarlar, iki ilgili benchmark veri kümesi üzerinde testler gerçekleştirdiler: EvoBench, yedi model ailesi boyunca oluşturulan 32.000 insan/AI metin çiftini içerir, bunlar arasında GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; ve Qwen, toplam 29 model sürümü sunar.

Diğer çerçeve, MAGE idi, sekiz model ailesi boyunca 30.000 test çifti sunar, bunlar arasında OpenAI’den GPT serisi ve LLaMA, OPT ve FLAN-T5 aileleri bulunur.

Rakipler

Yeni yöntem, aynı yedek modeli kullanan çeşitli zero-shot dedektörlerle test edildi. Olabilirlik, Entropi, Sıra ve Log-Sıra (DetectGPT) metin bölümünün tamamında token düzeyinde istatistikler ölçtü; LLR (DetectLLM) modeller arasında doğrudan karşılaştırma için normalleştirmeyi uyguladı; ve Fast-Detect yerel eğriliği örneklemeye dayalı pertürbasyonlar aracılığıyla tahmin etti.

Lastde olasılık sinyalindeki ayırt edici alt dizileri analiz etti, FourierGPT ise frekans alanında çalıştı. Diveye dizinin boyunca ‘şaşırtma’ çeşitliliği değişimlerini yakaladı.

Son olarak, UCE token tahminlerinin belirsizlik profilini değerlendirdi, böylece doğal olmayan güven kalıplarını tanımladı.

Uygulama ve Sonuçlar

Tüm algılama yöntemleri, Llama-3-8B-Instruct ortak bir vekil model olarak kullanılarak çalıştırıldı, girişteki diziler 512 tokenle sınırlıydı. Zamansal özellikler, yalnızca her metin bölümünün ikinci yarısından çıkarıldı, 20 tokenlik bir kayan pencere kullanılarak volatilite ölçüldü. Yöntemin birleştirilmiş bir sürümü, TSD+, önerilen sinyali Fast-DetectGPT ile birleştirdi.

Alıcı İşletim Karakteristiği Eğrisi Altında Alan (AUROC) birincil değerlendirme metriği olarak kullanıldı^†:

Çeşitli test edilen yöntemlerin AI oluşturulan metinlere karşı çeşitli performansları. Algılama doğruluğu iki benchmark üzerinde gösterilir: çeşitli tanınmış LLM’leri kapsayan EvoBench ve tamamlayıcı bir veri kümesi olan MAGE. Metriklere, global istatistikler, zamansal özellikler ve önerilen varyantlar olarak gruplandırılmıştır. Son sütunlarda ortalama AUROC puanları verilir. Yazarların yöntem varyantlarının sonuçları tutarlı olarak önceki benchmarklerin üzerine çıkıyor, TSD+ neredeyse her model ayarında en yüksek puanları alıyor.

Bu ilk sonuçlardan, yazarlar şunları belirtir:

‘Basit zamansal özelliklerimiz, tek başına yöntemler arasında en gelişmiş performansı gerçekleştirir, TSD EvoBench’te %83,36 ve MAGE’de %71,56 elde eder, Fast-DetectGPT dahil tüm benchmarklerin üzerine çıkar.

‘Bu, yöntemimizin basitliğine dikkat çekicidir: yalnızca dizilerin ikinci yarısından ikinci dereceden istatistikleri hesaplarız, pertürbasyon örneklemesi veya frekans-alan dönüşümleri olmadan.’

Yeni yöntem, özellikle GPT-4 ve GPT-4o gibi yeni AI modellerinde iyi çalıştı, AI yazılan metni en yakın lider dedektörden daha doğru bir şekilde tanımladı, performans açığı %9,66’ya ulaştı. Daha yeni ve gelişmiş modeller, daha az açık ‘tutarlı’ metin üretse de, belirli ince zaman kalıpları hala metnin sonuna doğru belirgindir.

Genel yapısal özelliklere odaklanan rakip yaklaşımlar, bu geç dönem kalıplarını yakalayamadı. Küresel bir dedektörü entegre ederek, melez sistem görünüşe göre kaçırılan sinyalleri geri kazandı ve özellikle daha kısa AI çıktılarının zamansal ipuçlarını zayıflatabildiği benchmarklerde performansı iyileştirdi.

SONUÇ

Yeni çalışmada doğrudan ele alınmayan bir yön, insan yazarların işlerini taslaklama ve çeşitli denetim katmanları aracılığıyla işleme yoluyla yineleme eğiliminde olmalarıdır – bazen dış denetim, editörlerin ve düzeltmenlerin girdisi ve yasal bölümlerden olası önerilen değişiklikler dahil, bağlama bağlı olarak.

Basit bir gazete makalesi gibi belgelerde birden fazla paydaşın yer alması, bu yeni önerilen sistem tarafından odaklanılan kendilerine özgü özellikleri neredeyse tamamen yok edebilir ve bir tür ‘analog’ AI destekli taslaklama sürecinin bir benzeri olur.

Ek olarak, incelenen sistemlerin kendileri de bu tür çalışmalar üzerinde eğitilmiştir. Eğitim verileri eğitim sırasında giderek daha fazla otoritelerine göre sıralandığından, en fazla ağırlık verilen veya en saygın kaynaklar, en az doğal olanlar olabilir; en azından bir genel kurul için yıllık rapor hazırlamak yerine bir meslektaşına hızla gündelik bir e-posta yazan biriyle karşılaştırıldığında.

Bir başka ve karşıt değerlendirme, birden fazla kişinin katkıda bulunduğu metin içeriğinin aynı zamanda en parçalı, hatalı ve tekrarlı düzyazı parçaları arasında yer alabileceğidir, çünkü bunlar genellikle son birleştirici ses yararından yoksun kalırlar, bu da gelişimleri parçalı doğasını metinde açıkça gösterir.

* Yazarların orijinal metin stilleri, makaleden yeniden üretilmiştir; vurgularım değil.

^† Yazarlar ‘birincil’ derken, başka hiçbir değerlendirme metriği listelememişlerdir.

İlk olarak Pazartesi, 26 Ocak 2026’da yayımlandı