AI Fikirlerini Tespit Etmek, AI Metnini Değil

Ya bir AI metin dedektörü, AI’nin size verdiği bir fikir üzerine bir şey yazdığınızı tanıyabilse – gerçek yazım (yani metin) tamamen sizin özgün çalışmanız olsa bile?

Herkes AI metin dedektörlerinin ünlüleri ve politikacıları utandırdığını bilir, diğerleri arasında – AI tarafından oluşturulan metnin özelliklerini inceleyen ve bu kalıplar ortaya çıktığında ayırt edebilen algoritmalar.

Bu durumlar, iletişim görevini basitçe dışarıya aktarımı temsil eder; burada ChatGPT ve Google Gemini gibi dil modelleri, bir kullanıcının komutuna yanıt olarak bir sonraki olası token’ı tahmin eder – problemi ya da öneriyi önce geniş bir perspektiften incelemek yerine, sadece bir sonraki en olası kelimeyi tahmin ederek.

Bununla birlikte, bu tahmin yaması sonunda bir temel yapı ortaya çıkar, yakın tarihli araştırmalara göre: yan yana gelen metin bölümlerinin tutarlı ve birbirine ilgili olması gerekliliği, çalışmanın ‘taslağında’ ya da daha yüksek boyutlu yapısında benzersiz bir imza oluşmasına yol açar – yapay zekanın izini ayırt edebilen bir imza, metin ‘insanlaştırma’ amacıyla kapsamlı bir şekilde yeniden yazılsa bile:

Çeşitli LLM’ler altında yazının belirgin yüksek boyutlu ‘şekli’ ve – solda – saf insan yazısı. Kaynak

AI Fikir Üretimine Yönelik

University of Maryland tarafından yürütülen yeni bir akademik iş birliği, bir adım daha ileri giderek, fikirlerin kendisinin AI tarafından ortaya çıkıp çıkmadığını, kelimeleri kimin yazdığına bakılmaksızın tespit edebilen bir metodoloji sunuyor.

Bu yaklaşım, IdeaLens adıyla anılıyor ve web belgelerinden çıkarılan bir milyon taslaktan eğitildi; her belgeyi, fikirlerini koruyan ancak ifadeyi ortadan kaldıran bir taslağa indirgemeye odaklanıyor – ve bir çevrimiçi demo ile birlikte geliyor:

Sol tarafta, kendi makalelerimden biri çevrimiçi demoda insan olarak geçiyor, gönderdiğim (farklı bir yazar tarafından yazılmış) başka bir makale ise önemli ölçüde AI girdisi almış gibi görünüyor.. Kaynak

Yukarıdaki örnek demo sonuçlarında görüldüğü gibi, kullanılan tespit yöntemleri insan fikirleri ile insan metinlerini, AI fikirleri ile AI metinlerini ayırt edebilir ve bunları ayrıntılı ve belirgin bir şekilde değerlendirebilir – iki dedektör aynı belgeler, etiketler ve temel model mimarisi üzerinde eğitilmiş olmasına rağmen, esasen zıt şeyleri tespit etmek üzere tasarlanmıştır: fikirlerin kaynağı ve metnin kaynağı.

Bu tür bir tespit kapsamının, çeşitli yazar gruplarını tedirgin edebileceği düşünülüyor; politik konuşma yazarlarından roman yazarlarına ve köşe yazarlarına kadar, ayrıca bugüne kadar kendi yazı stillerini değerli sayan, ancak AI’nın konularını beslemesine izin veren diğerleri.

LLM’lerin tanınabilir (ve dolayısıyla izlenebilir) fikirler üretmesinin bir nedeni, belirli kavram ve metinlerin modelin yetersiz düzenlenmiş eğitim verileri üzerinde istatistiksel olarak baskın olması ve bu yüzden daha geniş bir istek yelpazesinde ortaya çıkma olasılıklarının artması değil; aynı zamanda, LLM’lerin belirli eğitim verileriyle ilişkilendirilemeyen gizemli ve tekrarlayan takıntıları olması ve buna rağmen çoğu zaman istenmeden ortaya çıkması.

Yazarlar şöyle belirtiyor*:

‘Modern AI dedektörleri kelimeleri kim yazdı belirlerken, AI kullanımına ilişkin yeni politikalar giderek farklı bir soruya dayanıyor: fikirleri kim ortaya koydu? IdeaLens’i tanıtıyoruz, bir belgenin fikirlerinin insan mı yoksa AI mı tarafından üretildiğini (fikir kaynağı) belirleyen bir dedektör, kelimeleri kimin yazdığından bağımsız.

‘IdeaLens’i prose yerine fikirler üzerine odaklamak için, belgeleri taslaklar olarak temsil ediyoruz: her biri bir söylem rolünü içeriğin kısa, yeniden ifade edilmiş bir açıklamasıyla eşleştiren öğe listeleri, ham metinle kelime düzeyinde örtüşmeyi en aza indirir.’

Veri ve Yöntemler

Makale, yeni yöntemin AI tarafından üretilen belgelerde insan fikirlerini (örneğin, birinin AI’ye ‘Bu konu hakkında bir makale yaz‘ demesi) tespit edebileceğini ve aynı zamanda insan yazısında AI fikirlerini (örneğin, birinin AI’ye Yazmam için bir şey öner demesi) tespit edebileceğini iddia ediyor.

Dört farklı insan ve AI fikir‑ve‑metin kombinasyonu üzerindeki test sonuçları. Tüm dört algılayıcı, fikirler ve metin aynı kaynağa ait olduğunda güçlü performans gösterirken, kaynak karıştığında keskin bir şekilde farklılaşıyor: IdeaLens, insan fikirlerine dayalı AI‑yazılmış belgelerin %94,7’sini insan kökenli olarak doğru şekilde tanıyor ve insan‑yazılmış hikayelerdeki AI fikirlerini %68 oranında belirliyor; bu oran Pangram 4 için sadece %8 ve ProseLens ile EditLens‑3B için %0 ile karşılaştırılıyor.. Kaynak

Kaynağın en net olduğu durumlarda tespit en kolaydır – örneğin, insan‑yazılmış bir eser AI‑tarafından üretilen fikirler üzerine kurulu olduğunda ya da AI‑tarafından üretilen bir çıktı insan fikrinden türediğinde. Bu kaynak güçleri değiştiğinde tespit zorlaşır.

Araştırmacılar, bir belgenin temel planının ne kadarının bir kişiden geldiğini kademeli olarak değiştirerek bu ayrımı test ettiler. Bir deneyde, AI modellerine giderek daha ayrıntılı insan planları verildi; bu planlar sadece bir konu başlığı olmaktan tam bir taslağa kadar değişiyordu.

İnsan katkısı arttıkça, IdeaLens’in AI işaretleme oranı %94,9’dan %6,8’e düştü; ve geleneksel metin algılayıcıları büyük ölçüde ortaya çıkan metni AI olarak tanımlamaya devam etti:

AI‑yazılmış bir belgenin temel planının giderek daha fazla kısmı insan tarafından sağlandığında ne olduğuna dair test sonuçları. IdeaLens, fikirlerin insan kökenini giderek daha iyi tanıyor; AI işaretleme oranı konu‑sadece istem için %94,9’dan tam insan taslağı için %6,8’e düşüyor; geleneksel metin algılayıcıları ProseLens ve Pangram hâlâ ortaya çıkan yazının büyük çoğunluğunu AI olarak sınıflandırıyor.

Fikirlerin, onları ifade eden dilden ayrılması gerektiği ve bir belgede fikirlerin gerçek sahibini kaydeden büyük bir veri kümesinin bulunmadığı için araştırmacılar, IdeaLens’i mevcut AI‑yazım etiketleri üzerine eğittiler – ancak yazının büyük kısmını kaldırdılar:

IdeaLens’in eğitim ve test sırasında fikirleri metinden nasıl ayırdığı, geleneksel metin algılayıcısı ProseLens ile karşılaştırıldığında. 1.321 kelimelik bir görüş makalesi, işlevine göre (örneğin bir olay raporu ya da değerlendirme) sınıflandırılmış rol‑etiketli bir taslağa indirgenir. Eğitim sırasında bu taslaklar, IdeaLens’in mevcut Pangram AI etiketlerinden öğrenmeden önce kaynak belgelerden miras kalan ifadeleri kaldırmak için ek olarak yeniden ifade edilir. Yeni belgeler için, çıkarılan taslak doğrudan IdeaLens’e aktarılır ve fikirlerin AI‑türeli olma olasılığı tahmin edilir. Şeklin alt kısmı, araştırmacıların karşılaştırma amacıyla kullandığı ikinci algılayıcı – ‘ProseLens’ – i gösterir; bu algılayıcı ise tam metni alır ve metnin kendisinin AI‑tarafından üretilip üretilmediğini tahmin eder.

Yukarıda gösterildiği gibi, her belge ne söylendiğini ve her noktanın belgede oynadığı rolü tanımlayan bir taslağa indirgenmiştir. Eğitim sırasında bu taslaklar, yazarların özgün ifadelerinin izlerini daha da kaldırmak için yeniden ifade edilmiştir. IdeaLens bu nedenle tahminlerini büyük ölçüde kalan fikirlerden yapar, metnin ayırt edici özelliklerinden değil.

Proje için üç veri kümesi oluşturuldu: IdeaShift; IdeaShift‑X; ve TwiceTold. IdeaShift, araştırmacıların mevcut test korpusundan örneklenen 500 insan‑yazılmış ve AI‑oluşturulmuş çekirdek belgeden oluşturuldu. GPT‑5.6 Sol, her birini giderek daha ayrıntılı istemlere dönüştürdü; ‘konu‑sadece’dan tam bir taslağa. GPT‑5.6 daha sonra yeni belgeler üretmek için kullanıldı.

IdeaShift‑X ise, 24 dilde 10.000 insan‑yazılmış FineWeb2 belgesi kullandı ve her dilde AI versiyonları üretmek için yukarıda belirtilen IdeaShift protokolünü uyguladı.

Üçüncü veri kümesi, TwiceTold, yazarların gözetiminde akademik öğrenciler tarafından yazıldı; bu, toplu veri toplama sürecinde AI doğal kullanımını önlemek içindi. 500 kelimelik bir taslak ChatGPT‑5.6 Sol tarafından sağlanarak sıfırdan elli hikaye yazıldı.

Testler

Araştırmacıların kendi dedektörleri IdeaLens’i taslak ve belge biçiminde; bahsi geçen ProseLens’i; ModernBERT-L her iki sistemin sürümlerini; Qwen3.5-9B sürümlerini IdeaLens için; ve bir IdeaLens lojistik sınıflandırıcı varyantını içeriyordu.

Bunlar Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; ve Rank ile karşılaştırıldı.

Testlerde, Doğruluk, tahmin edilen AI veya insan etiketinin fikirlerin kaynağıyla eşleşip eşleşmediğine göre ölçüldü. IdeaLens, ProseLens ve EditLens, global %1 FPR eşiği kullandı; Pangram 4’ün AI, AI destekli ve insan etiketleri ikili hâle getirildi; ve Fast-DetectGPT, Binoculars, MELD ve Desklib varsayılan eşiklerini kullandı.

Daha geniş değerlendirme, tamamen insan ya da tamamen AI materyalini kapsayan 14 dahil olmak üzere 19 dış benchmark kullandı ve AI tarafından sonradan düzenlenen insan yazılarını içeren 10 tanesini içeriyordu. Ayrıca 50.000 alan içi belge test edildi, 10.000 ön-ChatGPT C4 belgesi ise yanlış pozitifleri değerlendirmek için kullanıldı:

Fikirlerin ve metnin aynı ya da farklı kökenlere sahip olduğu durumlarda dedektör doğruluğunu karşılaştıran test sonuçları. IdeaLens, ortak köken için %95,3 ve karışık köken için %81,3 olmak üzere her iki ayarda da yüksek doğruluğu korur; rekabet eden dedektörler, fikirlerin kaynağı metnin kaynağından farklı olduğunda belirgin şekilde daha kötü performans gösterir.

22 benchmark’ten alınan 51 testte, IdeaLens, fikirlerin ve metnin aynı ya da farklı kaynaklardan geldiği durumlarda güçlü performans gösteren tek dedektör oldu ve sırasıyla %95,3 ve %81,3 puan aldı.

Karşılaştırıldığında, ProseLens ve Pangram 4, fikirlerin ve metnin aynı kaynağı paylaştığı durumlarda %98’in üzerinde puan alırken, paylaşmadıklarında yaklaşık %25’e düşmüştür.

Yazarlar bu sonuçlar hakkında şöyle belirtiyor*:

‘ProseLens’in aynı temel yapı, eğitim belgeleri ve eğitim etiketlerine IdeaLens ile sahip olması, taslak temsiliyetimizin etkisini vurguluyor; bu da bir ModernBERT tabanlı çiftin farklı bir temel yapı ile yeniden ürettiği anlamına geliyor.

‘IdeaLens ayrıca test sırasında ham metin girişlerine beklenmedik derecede iyi aktarım yapar, ortak köken doğruluğu yüksek ve karışık köken doğruluğu ProseLens’ten belirgin şekilde daha yüksek gösterir.’

Üç dedektör de orijinal AI tarafından yazılmış hikayelerin neredeyse tamamını başarıyla tanımladı. TwiceTold üzerinde, IdeaLens insan tarafından yazılmış hikayelerin %68’inde AI kaynaklı fikirleri tespit etti, ProseLens %0 ve Pangram 4 %8 ile karşılaştırıldığında:

IdeaLens, aynı AI tarafından oluşturulan taslaklara dayalı olarak orijinal AI yazılı hikayeler ile insan tarafından yazılmış TwiceTold versiyonları için benzer AI olasılıkları atar; oysa ProseLens’in AI olasılıkları, metin insanlar tarafından yeniden yazıldığında keskin bir şekilde düşer.

İngilizce eğitilmiş olmasına rağmen, IdeaLens IdeaShift-X’in 24 dilinde genelleme yaparak AI fikirlerine dayalı belgelerin %95,3’ünü işaretledi – ancak ayrıntılı bir insan planı fikir sağladığında sadece %0,7. Aynı dillerdeki 10.000 ön-ChatGPT insan belgesinde yanlış pozitif oranı sadece %0,1 idi.

Yazarlar, gelecekteki çalışmalarda daha büyük bir veri kümesinin arzu edildiğini ve veri kümesi etiketlerinin gürültüsünün ele alınması gerekebileceğini kabul ediyor. Yine de, bu ilginç ilk denemeyi geliştirmek isteyenler, makalenin yazarlarının sağladığı GitHub deposu‘ye başvurabilir; sadece meraklı olanlar ise ‘şüpheli’ testleri projenin demo sitesi‘ine yapıştırarak yöntemin kendi tahminleriyle ya da diğer yaklaşımların tahminleriyle uyumlu olup olmadığını kendileri ölçebilir.

Sonuç

Bu tür bir tespit yönteminin önemli olup olmadığı, AI’nın kabulü, entegrasyonu ya da reddinin nasıl gelişeceğine bağlıdır (kuşkusuz farklı sektörlerde ve koşullarda farklı şekillerde) önümüzdeki 6‑12 ay içinde.

Bir politikacının kamuoyu, kendi özgün fikirlerini parlatmak ve temsil etmek için AI kullanımına, bir LLM tarafından üretilen fikirlerin yüzeysel sunumuna kıyasla daha hoşgörülü olabilir (sonuçta istatistiksel olarak izleyici, AI’yı sadece bir sunum aracı olarak kullanmaya sempatik yaklaşma eğilimindedir).

Yine de, aynı zamanda, AI’dan beklediğimiz şey, bizim gözden kaçıracağımız ya da hiç düşünmeyeceğimiz bakış açıları, fikirler ve alternatifler üretmesi değilse, bu bakış açısından, makine zekasına kontrolü vermek kötü bir fikir midir?

Şey, optik açıdan ve AI’nın ünlü ve artan hata eğilimi ve –son zamanlarda– hatalı davranış göz önüne alındığında, belki de LLM’lerin politika önerileri üretmesine ya da genel olarak fikir üretiminde itici bir güç haline gelmesine henüz çok erken olabilir.

*Yazarların vurguları, benimkiler değil, ancak gerektiğinde yazarların satır içi alıntılarını hiperlinklere dönüştürmem.

İlk yayınlanma: Salı, 6 Ekim 2026