Yapay Zekâ Destekli İçerik Denetiminde İnsan Yargısının Hâlâ Gerekli Olduğu Noktalar

Milyonlarca kullanıcının bulunduğu bir toplulukta zararlı davranışlar, moderatörlerin bunları tespit edip müdahale edebileceğinden daha hızlı yayılabilir. Küçük bir topluluk, doğrudan gözleme büyük ölçüde güvenebilir. Moderatörler düzenli katılımcıları tanır, topluluğun kültürünü anlar ve rahatsız edici davranışları genellikle hızla tespit edebilir. Bir topluluk yüz binlerce ya da milyonlarca kullanıcıya ulaştığında, etkinlikleri elle değerlendirmek çok daha zorlaşır. Alt gruplar oluşur, dil değişir ve zararlı davranışlar, herhangi biri örüntüyü fark etmeden önce çok sayıda hesaba ya da sohbete yayılabilir.

Moderatör sayısını artırmak kapasiteyi yükseltir, ancak her moderasyon ekibinin zamanı ve dikkati sınırlıdır. Büyük topluluklar, rutin etkinlikleri kesintisiz işleyebilen, olağandışı davranışları erken tespit eden ve moderatörlere yargı gerektiren durumlara odaklanmaları için yeterli bağlamı sunan bir altyapıya ihtiyaç duyar.

Bu durum, içerik denetimini giderek daha fazla sistem mühendisliğinin kapsamına sokuyor. Tespit, üst kademelere iletme, eşik değerleri, gözlemlenebilirlik ve geri bildirim, bir topluluğun büyürken sağlıklı kalıp kalamayacağını etkileyebilir.

Ölçek büyüdükçe en çok değişen şey, uç durumların artık nadir olmaktan çıkmasıdır. Belirli bir davranış kullanıcıların yalnızca çok küçük bir bölümünü etkilese bile, milyonlarca kişi arasında moderatörlerin sürekli karşılaştığı bir duruma dönüşebilir. Ayrıca her etkileşimi tek tek anlama olanağını da yitirirsiniz; bu nedenle etkili içerik denetimi, arkasındaki bağlamı gözden kaçırmadan örüntüleri belirlemeye giderek daha fazla bağlıdır.

Ölçek Büyüdükçe İçerik Denetimi Örüntü Tanımayı Gerektirir

Pek çok içerik denetleme aracı, görece basit tetikleyicilerle yola çıktı. Yasaklı bir sözcük kullanılır, bir kullanıcı şikâyet gönderir ya da bir moderatör kural ihlali fark edip müdahale ederdi.

Büyük topluluklarda daha karmaşık sinyaller ortaya çıkar. İstenmeyen iletiler aynı anda onlarca hesaptan gelebilir. Taciz, birkaç sohbet boyunca zaman içinde gelişebilir. Eşgüdümlü istismar, tek tek incelendiğinde zararsız görünen eylemleri içerebilir. Yeni hesaplar, birdenbire aynı bağlantıları ya da iletileri paylaşmaya başlamadan önce bir süre normal davranabilir.

Sistemler davranışları zaman içinde değerlendirdiğinde bu durumları tespit etmek kolaylaşır.  Tehdit göstergeleri arasında ileti sıklığı, yinelenen içerik, hesabın yaşı, bağlantıların tekrarlanması, paylaşım etkinliğindeki ani artışlar, olağandışı katılım örüntüleri, önceki yaptırım işlemleri ve hesaplar arasındaki ilişkiler yer alabilir. Tek bir gösterge çok az şey ortaya koyabilir. Birkaç göstergenin aynı anda görülmesi, bir durumun daha yakından incelenmesi gerektiğine işaret edebilir.

Örneğin Birleşik Krallık’ın iletişim düzenleyici kurumu Ofcom, veri toplama, model geliştirme, devreye alma, izleme ve değerlendirmeyi içeren daha kapsamlı bir sürecin parçası olarak otomatik içerik sınıflandırma sistemlerini incelemiştir.

Bağlam, sorunu daha da zorlaştırır. İleti trafiğindeki ani bir artış, profesyonel bir forumda istenmeyen ileti faaliyetine işaret edebilirken canlı bir etkinlik sırasında normal olabilir. Kullanılan dil de ilişkilere, ortak göndermelere ve topluluk normlarına bağlı olarak çok farklı anlamlar taşıyabilir.

Etkili bir içerik denetleme altyapısı; yapılandırılabilir kurallara, topluluğa özgü eşik değerlere ve geçmiş davranış sinyallerine ihtiyaç duyar. İleti sıklığı buna iyi bir örnektir. Çok hızlı paylaşım yapan bir kullanıcı istenmeyen ileti gönderiyor olabilir; ancak canlı bir etkinlik ya da hızla ilerleyen bir sohbet sırasında yalnızca aktif de olabilir. Aynı hesap çok yeniyse, aynı içeriği tekrar tekrar paylaşıyorsa ve aynı bağlantıyı birden fazla kanala gönderiyorsa bu sinyallerin birleşimi çok daha anlamlı hâle gelir.

Otomasyon Moderatörlere Daha İyi Bilgi Sağlar

İçerik denetleme ekipleri, yinelenen görevlere önemli miktarda zaman ayırır. İstenmeyen iletilerin kaldırılması, bağlantı kısıtlamaları, yinelenen iletilerin tespiti, gönderim sıklığı sınırları ve hesapların incelenmesi; sistemin güvenle harekete geçmesini sağlayacak kadar güçlü sinyallere sahip olduğu durumlarda çoğu zaman otomatikleştirilebilir.

Anlamın geçmişe, niyete, mizaha, alaya, ilişkilere ya da kültürel bağlama bağlı olduğu durumlarda insan yargısı değer kazanır. Bu durumlar çoğu zaman bir kişinin sohbeti bir bütün olarak anlamasını gerektirir. İyi tasarlanmış otomasyon, bir olayın çevresindeki bilgileri düzenleyerek bu kararları vermeyi kolaylaştırabilir.

Şüpheli etkinlikleri inceleyen bir moderatör, bu etkinliklerin neden dikkat çektiğini görebilmelidir. İlgili bilgiler arasında paylaşım davranışındaki yakın tarihli değişiklikler, önceki olaylar, ilgili şikâyetler, yinelenen içerikler, hesap geçmişi ya da topluluğun başka yerlerindeki benzer etkinlikler bulunabilir.

Güven düzeyleri de verilecek karşılığı şekillendirebilir. Yeni oluşturulmuş hesaplardan aynı istenmeyen iletinin tekrar tekrar gönderilmesi gibi son derece öngörülebilir etkinlikler, derhâl müdahaleyi haklı kılabilir. Daha belirsiz etkinlikler ise uyarıyı tetikleyen sinyallerle birlikte incelenmek üzere moderatörlere sunulabilir.

Bu yaklaşım, diğer büyük teknik sistemlerde yaygındır. İzleme altyapısı yüksek hacimli etkinlikleri işler, anormallikleri tespit eder, ilişkili sinyalleri gruplandırır ve olağandışı durumları üst kademelere iletir. Mühendisler, daha derinlemesine inceleme gerektiren vakaları araştırır.

Toplulukların içerik denetimi de aynı mimariden yararlanabilir. Otomatik sistemler yüksek hacimli etkinlikleri ve örüntü tespitini yönetirken moderatörlere değerlendirmeleri için daha odaklı bir durum kümesi sunulur.

Davranışın yüksek ölçüde öngörülebilir olduğu durumlarda otomasyonu kapsamlı biçimde kullanmayı, ancak bağlam önem kazanmaya başladığında çok daha temkinli davranmayı tercih ediyorum. Bir sistem bir şeyin spam olup olmadığına karar veriyorsa, aynı mesajın tekrar tekrar gönderilmesi kolayca saptanabilir; ancak sistem bunun taciz mi, şaka mı yoksa birbirini tanıyan kişiler arasındaki bir anlaşmazlık mı olduğuna karar vermeye çalışıyorsa, insan değerlendirmesine ihtiyaç duyulması çok daha olasıdır. Otomasyon, moderatörlerin incelemesi gereken gereksiz içerik miktarını azaltmalı; her değerlendirme gerektiren durumun bir kurala indirgenebileceği izlenimini vermemelidir.

Güçlü Moderasyon Sistemleri Kararlarından Ders Çıkarır

Topluluk davranışları da sürekli değişir. Yeni argo ifadeler ortaya çıkar. Kullanıcılar filtreleri aşmanın yollarını bulur. Spam yöntemleri gelişir. Toplumsal normlar değişir. Bugün iyi sonuç veren bir moderasyon kuralı, davranışlar değiştikçe daha az etkili hâle gelebilir.

Moderasyon altyapısında güçlü geri bildirim döngüleri bulunmalıdır. Otomatik olarak gerçekleştirilen her işlem yararlı bilgiler üretir. Moderatörlerin sık sık otomatik kararları geri alması, eşik değerinin fazla hassas olduğuna işaret edebilir. Tekrarlanan bir istismar biçiminin sürekli olarak tespit edilememesi, eksik bir sinyal bulunduğunu gösterebilir. Yanlış pozitiflerin olağan dışı derecede fazla olması, belirli bir kuralın bazı ortamlarda iyi sonuç vermediğini gösterebilir.

Ekipler, hangi kuralların en sık tetiklendiğini, olayların ne kadar hızlı tespit edildiğini, otomatik işlemlerin ne sıklıkta geri alındığını ve daha büyük çaplı aksaklıklardan önce hangi davranışların görülme eğiliminde olduğunu takip edebilmelidir.

NIST Yapay Zekâ Risk Yönetimi Çerçevesi de kuruluşların otomatik sistemleri devreye alırken ölçüm, izleme ve yönetim faaliyetlerini sürekli olarak sürdürmelerinin önemini vurgular.

Gözlemlenebilirlik, moderasyon sistemlerinin topluluklar değiştikçe bu değişimlere uyum sağlamasına olanak tanır. Bir oyun topluluğunda, profesyonel bir tartışma grubunda ve bir destek forumunda birbirinden çok farklı davranış örüntüleri gelişebilir. Moderasyon eşikleri, açık koruyucu önlemler sürdürülürken bu farklılıklara göre değiştirilebilmelidir.

Şeffaflık da önemlidir. Kullanıcılar, anlaşılır kurallardan ve makul ölçüde öngörülebilir uygulamalardan yarar görür. Moderatörler, kararlarına yardımcı olan sistemleri görebilmeli; mühendisler ise bu sistemlerin amaçlandığı gibi çalışıp çalışmadığını belirlemeye yetecek bilgiye sahip olmalıdır.

Çevrimiçi toplulukların gelecek nesli büyük ölçüde akıllı otomasyonun, insan değerlendirmesinin ve sürekli ölçümün birlikte çalışmasına bağlı olacaktır.

Büyük ölçekte moderasyon; rutin faaliyetlerin muazzam hacimlerini işleyebilen, bireylerin fark etmekte zorlanacağı örüntüleri tanıyabilen ve zor kararlar alınması gerektiğinde moderatörlere daha kapsamlı bilgiler sunabilen bir altyapı gerektirir.

Bu altyapıyı oluşturmak; davranış sinyallerine, güven eşiklerine, yönlendirme süreçlerine, izlemeye ve geri bildirime özen gösterilmesini gerektirir. Bu yetkinlikleri geliştiren topluluklar, insanların katılımını sürdürmesini sağlayan güvenliği, güveni ve kaliteyi korurken büyümeye daha hazırlıklı olacaktır.