AI Oluşturulan Yazılar Asla ‘Yorulmaz’, Bu da Onları Açığa Çıkarır

ChatGPT tarzı AI, tutarlılıkta artış göstererek kendini açığa vururken, insan yazısı tüm boyunca düzensiz kalır.

Son tüketicilere yönelik Büyük Dil Modellerinin (LLM) sınırlı bağlam penceresi, kullanıcıların sohbetlerinin önceki kısımlarını unuttuğu veya yanlış şekilde hatırladığı durumların ortaya çıkmasına neden olan faktörlerden biridir – bu anımsama hataları, çıktının total anlamsızlığa dönüşmesine veya aldatıcı şekilde tutarlı görünen metinlere yol açabilir.

Bu durumlar halüsinasyonlara yol açar ve halüsinasyonlar hala AI’nin toplam pazar ilerlemesinin en büyük engelidir, bu nedenle tutarlı ve uzun metin parçaları oluşturabilen üretken AI sistemleri oluşturmak için önemli araştırma çabaları harcanmıştır.

Aslında, bu kadar ilerleme kaydediliyor ki, uzun形式 AI içeriğini tanımak (yani, AI tarafından oluşturulan içerik – muhtemelen minimal veya sıfır insan sonrası bakım ile) büyüyen bir sorun olarak kabul ediliyor.

AI Filibusterını Bozmak

Bununla birlikte, yakın zamanda yapılan ampirik çalışmalar iddia ediyor ki, AI metin üreticileri tarafından üretilen çıktı ne kadar çoksa, o metnin insan yazısı olup olmadığını belirlemek o kadar kolay olur; ancak bu algılama ‘köprüsü’ ile ilgili kabul gören bilgi, AI’nin insanlardan farklı olarak ne yaptığını daha sık yaptığı varsayımına dayanıyordu uzun metin parçalarında.

Metin içindeki bu ‘ipuçlarının’ dağılımı hakkında hiçbir varsayım yapılmaz.

Bunu meydan okumak ve sorunu genişletmek için, Çin’den gelen bir araştırma çalışması, yeni nesil uzun形式 AI içerik üreticilerini gerçek insan yazarlardan ayırt etmek için yeni bir yöntem sunuyor. Çalışmanın arkasındaki araştırmacılar, token-üzeri-token doğası tarafından AI metni oluşturulurken, bu, uzunlukla birlikte daha tutarlı hale gelirken, insanların kendi peculiariteleri uzunlukla birlikte azalmaz diyorlar.

Bu şekilde, yazarlar, bu görüşlerinin AI metin algılama sistemleri için potansiyel yeni bir ölçütü sunduğunu öne sürüyorlar:

‘AI tarafından oluşturulan tokenler metnin son kısmında, modelin tahminlerinin biriken bağlamla birlikte giderek daha tutarlı hale gelmesi nedeniyle daha küçük ve daha稳il olasılık dalgalanmaları gösterir.

‘Bu kalıba Geç Dönem Dalgalanma Azalması adını veriyoruz. Bu olgu, otoregresif oluşturmanın doğasını yansıtıyor: daha fazla bağlam mevcut olduğunda, modelin tahmin dağılımı keskinleşir, bu da token düzeyinde istatistiklerde varyansın azalmasına yol açar.

‘İnsan yazısı, ngược olarak, beklenmedik leksiksel seçimleri sunmaya devam eder ve tüm boyunca daha yüksek volatiliteyi korur.’

AI metninin sonunda biriken bu garip ‘pürüzsüzlüğü’ yakalamak için, araştırmacılar iki basit özelliği tanımlar: ilki, yazının istatistiksel davranışının tokenler arasında ‘zıplama’ miktarını ölçer; ikincisi, kısa metin parçalarındaki istikrarı kontrol eder.

Her iki ölçüm de yalnızca çıktının ikinci yarısından hesaplanır, burada AI daha düzenli hale gelir ve insan yazısı değil. Yazarlar, bu sinyallerin kendi başlarına iyi çalıştığını, ancak daha eski algılama yöntemleri ile birleştirildiğinde daha etkili olduğunu not ederler. Ayrıca, bu yaklaşımın özellikle uzun metinlerde, karşıtlığın daha belirgin hale geldiği yerlerde en iyi performans gösterdiğini belirtirler.

Yeni makale, ‘AI’liği test etmek için ikinci yarı temporal özellik analizi yoluyla bir metodoloji sunar, bu da hiçbir ek eğitim, ince ayar veya ayrıcalıklı model erişimi gerektirmez.

The yeni çalışma, When AI Settles Down: Late-Stage Stability as a Signature of AI-Generated Text Detection olarak adlandırılır ve Çin’in Hangzhou kentindeki Westlake Üniversitesi’nden dört yazar tarafından gelir.

Yöntem

AI oluşturulan metinde artan pürüzsüzlüğü yakalamak için, araştırmacılar yalnızca bir geçişin ikinci yarısına odaklanan iki ölçüm tasarladılar. Bunlar, standart bir dil modelinden log-olasılık puanlarına dayanır ve hiçbir ince ayar, yeniden eğitim veya ek örnek gerektirmez:

Yeni makaleden – her satır, EvoBench boyunca token dizisi boyunca bir temel metriğin davranışını gösterir: ham değer (solda), mutlak türev (ortada) ve yerel standart sapma (sağda). İnsan ve AI çizgileri mavi ve kırmızı renkte gösterilir. Çoğu ayrılık metnin ikinci yarısında, özellikle Log Olasılık ve Örnekleme Uyuşmazlığı için belirgindir, bu da AI çıkışının pürüzsüzleşmesini gösterir. Entropi ve Üst-K Konsantrasyonu zaman içinde wenig değişiklik gösterir. Kaynak

İlk ölçüm, Türev Dağılma (DD) olarak adlandırılır, modelin güveninin bir kelimeden diğerine nasıl değiştiğini izler. AI metni, bir ritme girer, bu nedenle bu değişiklikler daha küçük ve daha öngörülebilir hale gelir. İnsan yazısı ise ‘düzensiz’ kalır.

İkinci ölçüm, Yerel Volatilite (LV), bir küçük metin penceresi içinde modelin güveninin ‘zıplama’ miktarını inceler. Yine, AI zaman içinde daha istikrarlı hale gelirken, insan seçimleri daha sürpriz ve daha az tutarlı kalır:

AI metni ilerledikçe pürüzsüzleşir, insan yazısı ise düzensiz kalır. Bu grafikler, bir geçiş boyunca modelin güvenliğinin nasıl değiştiğini gösterir, hem ardışık kelimeler arasındaki değişim keskinliğini hem de yerel metin parçalarındaki varyasyonu yansıtır. Her iki açıdan da, AI çıkışında azalma daha dik, özellikle metnin ortasından sonra, AI yazısı insan yazısından %32 daha istikrarlı hale gelir. Sarı kutular bu ikinci yarıda artan açığı vurgular.

Her iki ölçüm de yine yalnızca metnin ikinci yarısından hesaplanır, burada insan yazısı ve makine yazısı arasındaki fark en belirgin hale gelir. Bunlar daha sonra, yazının ‘pürüzsüzlüğü’ne eğilimini gösteren tek bir değer olan Zamansal İstikrar Algılama (TSD) puanına dahil edilir – bu puan, yazının daha ‘pürüzsüz’ (ve dolayısıyla daha muhtemel AI oluşturulan) olduğu ölçüde artma eğilimindedir. Bir basit eşik daha sonra, bir geçişin muhtemelen bir makine tarafından yazılmış olup olmadığını belirlemek için kullanılır.

Bu özellikler, bir kalıbın ortaya çıktığı zamana odaklandıkları için, yalnızca tüm geçişi taramaya çalışan eski yöntemelerle tamamlanır. TSD puanını, 2024 sonlarında sunulan Fast‑DetectGPT (aynı zamanda Westlake ile işbirliği içinde) çıktısına eklemek, özellikle uzun içerik için (AI’nin geç dönemde pürüzsüzleşme etkisinin en güçlü olduğu yerlerde) sonuçlarda ek bir iyileşme sağlar.

Veri ve Testler

Yazarlar, iki ilgili benchmark veri kümesi üzerinde testler gerçekleştirdiler: EvoBench, yedi model ailesi boyunca oluşturulan 32.000 insan/AI metin çiftini içerir, bunlar arasında GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; ve Qwen, toplam 29 model sürümü sunar.

Diğer çerçeve, MAGE idi, sekiz model ailesi boyunca 30.000 test çifti sunar, bunlar arasında OpenAI’den GPT serisi ve LLaMA, OPT ve FLAN-T5 aileleri bulunur.

Rakipler

Yeni yöntem, aynı yedek modeli kullanan çeşitli sıfır-şanslı dedektörlerle test edildi. Olabilirlik, Entropi, Sıra ve Log-Sıra (DetectGPT) tam geçiş boyunca token düzeyinde istatistikler ölçtü; LLR (DetectLLM) modeller arasında doğrudan karşılaştırma için normalleştirmeyi uyguladı; ve Fast-Detect yerel eğimi örneklemeye dayalı pertürbasyonlar aracılığıyla tahmin etti.

Lastde olasılık sinyalindeki ayırt edici alt dizileri analiz etti, FourierGPT ise frekans alanında çalıştı. Diveye dizinin boyunca ‘şaşırtma’ çeşitliliği değişimlerini yakaladı.

Son olarak, UCE token tahminlerinin belirsizlik profilini değerlendirdi, böylece doğal olmayan güven kalıplarını tanımladı.

Uygulama ve Sonuçlar

Tüm algılama yöntemleri, Llama-3-8B-Instruct olarak shared bir yedek model kullanılarak çalıştırıldı, girişteki diziler 512 tokenle sınırlıydı. Zamansal özellikler, yalnızca her geçişin ikinci yarısından çıkarıldı, 20 tokenlik bir sliding window kullanılarak volatilite ölçüldü. Yöntemin birleştirilmiş bir sürümü, TSD+, önerilen sinyali Fast-DetectGPT ile birleştirdi.

Alıcı İşletim Karakteristiği Eğrisi Altında Alan (AUROC) birincil değerlendirme metriği olarak kullanıldı^†:

Çeşitli test edilen yöntemlerin AI oluşturulan metinlere karşı çeşitli performansları. Algılama doğruluğu, EvoBench ve MAGE olarak adlandırılan iki benchmark üzerinde gösterilir. Metriklere, global istatistikler, zamansal özellikler ve önerilen varyantlar olarak gruplandırılmıştır. Son sütunlarda ortalama AUROC puanları verilir. Yazarların yöntem varyantlarının sonuçları tutarlı olarak önceki benchmarklerin üzerine çıkıyor, TSD+ neredeyse her model ayarında en yüksek puanları alıyor.

Bu ilk sonuçlardan, yazarlar şunları belirtir:

‘Basit zamansal özelliklerimiz, tek başına yöntemler arasında devlet-sanatlı performansı gerçekleştirir, TSD EvoBench’te %83,36 ve MAGE’de %71,56 đạtır, Fast-DetectGPT dahil tüm benchmarklerin üzerine çıkar.

‘Bu, yöntemimizin basitliğine dikkat çekicidir: yalnızca dizilerin ikinci yarısından ikinci dereceden istatistikleri hesaplarız, pertürbasyon örneklemesi veya frekans-alan dönüşümleri olmadan.’

Yeni yöntem, özellikle GPT-4 ve GPT-4o gibi yeni AI modellerinde iyi çalıştı, AI yazılan metni en yakın lider dedektörden daha doğru bir şekilde tanımladı, performans açığı %9,66’ya ulaştı. Daha yeni ve gelişmiş modeller, daha az açık ‘tutarlı’ metin üretse de, belirli ince zaman kalıpları hala metnin sonuna doğru belirgindir.

Genel yapısal özelliklere odaklanan rakip yaklaşımlar, bu geç dönem kalıplarını yakalayamadı. Küresel bir dedektörü entegre ederek, melez sistem apparent olarak kaçırılan sinyalleri geri kazandı ve özellikle zamansal ipuçlarının zayıfladığı benchmarklerde performansı iyileştirdi.

SONUÇ

Yeni çalışmada doğrudan ele alınmayan bir yön, insan yazarların işlerini taslaklama ve çeşitli denetim katmanları aracılığıyla işleme yoluyla yineleme eğiliminde olmalarıdır – bazen dış denetim, editörlerin ve düzeltmenlerin girdisi ve yasal bölümlerden olası önerilen değişiklikler dahil, bağlama bağlı olarak.

Basit bir gazete makalesi gibi belgelerde birden fazla paydaşın yer alması, bu yeni önerilen sistem tarafından odaklanılan peculiariteleri neredeyse tamamen yok edebilir ve bir tür ‘analog’ AI destekli taslaklama sürecinin bir benzeri olur.

Ek olarak, incelenen sistemler, bu tür çalışmalar üzerinde eğitilmiştir ve – eğitim sırasında otoriteye göre sıralanan eğitim verisi giderek daha önemli hale gelirken – en ‘ağırlıklı’ veya saygın kaynaklar, doğal olarak, bir yıllık rapor için bir AGM’ye değil, bir kolega bir e-posta yazan jemand’a kıyasla daha az ‘doğal’ olabilir.

Bir başka ve karşıt consideration, birden fazla kişinin katkıda bulunduğu metin içeriğinin aynı zamanda en parçalı, hatalı ve tekrarlı prose parçaları arasında yer alabileceğidir, çünkü bunlar genellikle son birleştirici ses benefitinden yoksun kalırlar, bu da gelişimleri parçalı doğasını metinde açıkça gösterir.

* Yazarların orijinal metin stilleri, makaleden yeniden üretilmiştir; vurgularım değil.

^† Yazarlar ‘birincil’ derken, başka hiçbir değerlendirme metriği listelememişlerdir.

İlk olarak Pazartesi, 26 Ocak 2026’da yayımlandı