Görünmez, Çoğu Zaman Mutsuz İşgücü: AI’nın Geleceğini Karar Veren

Google Araştırma liderliğindeki iki yeni rapor, makine öğrenimi sistemleri için temel gerçekliği oluşturmak amacıyla ucuz ve genellikle güçsüz bir küresel gig işçi havuzuna güvenme eğiliminin, AI için önemli sonuçlara yol açabileceği konusunda endişe ifade etmektedir.

Araştırmalar arasında, Google çalışması, crowdworkers’ın kendi önyargılarının AI sistemlerine gömülebileceğini, yaygın olarak adil olmayan iş uygulamalarının (ABD’de de dahil) yanıtların kalitesini bozabileceğini ve anlaşmazlıkları çözen ‘konsensus’ sisteminin aslında en iyi ve/veya en bilgili yanıtları atabileceğini bulmuştur.

Bu, kötü haber; daha da kötüsü,几乎 tüm çözümlerin pahalı, zaman alıcı veya her ikisi birden olmasıdır.

Güvensizlik, Rastgele Reddetme ve Kin

İlk makale, beş Google araştırmacısı tarafından yazılmış ve Kimin Temel Gerçeği? Veri Seti İşaretlemesinin Altında Yatan Bireysel ve Toplu Kimliklerin Hesaplanması olarak adlandırılmıştır; ikincisi, New York’taki Syracuse Üniversitesi’nden iki araştırmacı tarafından yazılmış ve Veri İşaretleyicileri Arasında Anlaşmazlığın Kökeni ve Değeri: Nefret Söylemi İşaretlemesi Üzerine Bir Vaka Çalışması olarak adlandırılmıştır.

Google makalesi, makine öğrenimi sistemlerinin temelini oluşturan değerlendirmeleri thường olarak yapan crowdworkers’ın, yanıtlarını etkileyebilecek çeşitli kısıtlamalar altında çalışabileceğini belirtir.

Örneğin, Amazon Mechanical Turk’un geçerli politikaları, işverenlerin (görevleri verenler) bir işaretleyicinin işini sorumlu olmadan reddetmesine izin verir:

‘[C]rowdworkers’ın büyük çoğunluğu (%94) reddedilen veya ödenmeyen işleri vardır. Ancak, işverenler, aldıkları verileri kabul edip etmediklerine bakılmaksızın, bu veriler üzerinde tam haklara sahiptir; Roberts (2016) bu sistemi “ücret hırsızlığı” olarak tanımlamaktadır.

‘Ayrıca, işleri reddetmek ve ücret ödememek acı vericidir, çünkü reddedilmeler genellikle belirsiz talimatlar ve anlamlı geri bildirim kanallarının eksikliği nedeniyle oluşur; birçok crowdworker, kötü iletişim’nin işlerini olumsuz etkilediğini bildirmektedir.’

Araştırmacılar, veri setlerini geliştirmek için outsourced hizmetleri kullanan araştırmacıların, crowdworking platformunun işçilerle nasıl davrandığını dikkate almaları gerektiğini önermektedir. Ayrıca, ABD’de crowdworkers’ın “bağımsız yükleniciler” olarak sınıflandırıldığını, dolayısıyla işlerinin düzenlenmediğini ve Fair Labor Standards Act tarafından belirlenen asgari ücretin kapsamına girmediğini belirtirler.

Bağlam Matters

Makale, ayrıca, annotation görevleri için ad hoc küresel işgücü kullanımını, işaretleyicinin arka planı dikkate alınmaksızın eleştirir.

Bütçe izin verdiğinde, AMT ve benzeri crowdwork platformları kullanan araştırmacılar, genellikle aynı görevi dört işaretleyiciye verir ve sonuçlarda “çoğunluk kuralı”na uyarlar.

Baglam deneyimi, makaleye göre, đáng kể ölçüde ihmal edilmektedir. Örneğin, bir görev sorusu cinsiyetçilik ile ilgiliyse ve bu soru, üç anlaşan erkek (18-57 yaş) ve bir anlaşmayan kadın (29 yaş) arasında rastgele dağıtılırsa, erkeklerin kararı kazanır, ancak araştırmacılar işaretleyicilerin niteliklerini dikkate aldıkları nadir durumlarda hariç.

Benzer şekilde, Chicago’da gang davranışları ile ilgili bir soru, bir kırsal ABD kadın (36 yaş), bir Chicago sakini (42 yaş) ve iki işaretleyici (Bangalore ve Danimarka’dan) arasında dağıtılırsa, konuyla en çok ilgili kişi (Chicago’lu erkek) sadece sonuçta %25 paya sahiptir, standart outsourcing yapılandırmasında.

Araştırmacılar şöyle demektedir:

‘[C]rowdsourcing yanıtlarında “tek gerçek” kavramı bir efsanedir; işaretleyiciler arasındaki anlaşmazlık, aslında değerli bir sinyal sağlayabilir. İkincisi, birçok crowdsourced işaretleyici havuzu sosyo-demografik olarak eğrilmiş olduğundan, veri setlerinde hangi nüfusların temsil edildiği ve hangi nüfusların crowdwork zorluklarıyla karşılaştığı konusunda etkileri vardır.

‘İşaretleyici demografisinin eğilimlerini hesaba katmak, veri setlerini bağlamsal olarak değerlendirmek ve sorumlu şekilde kullanımını sağlamak için kritiktir. Kısacası, işçi’nin sosyo-kültürel arka planını tanımak ve hesaba katmak, hem veri kalitesi hem de toplumsal etki açısından değerlidir.’

Sıcak Konularda ‘Tarafsız’ Görüşler Yok

Dört işaretleyicinin görüşlerinin demografik veya diğer bir ölçekte eğrilmediği durumlarda bile, Google makalesi, araştırmacıların işaretleyicilerin yaşam deneyimleri veya felsefi eğilimini dikkate almadıklarına ilişkin endişe ifade etmektedir:

‘Bazı görevler nesnel sorular içerir ve doğru bir cevabı vardır (bir resimde insan yüzü var mı?), ancak çoğu zaman veri setleri, evrensel olarak doğru bir cevabı olmayan, subjektif görevlere ilişkin yargıları yakalamayı amaçlar (bu metin saldırıya uğradı mı?). İşaretleyicilerin subjektif yargılarına dayanmayı amaçlamak önemlidir.’

Nefret söylemi etiketleme sorunlarını ele almak için özel olarak, Syracuse makalesi, daha kategorik soruların, örneğin Bu fotoğrafta bir kedi var mı? gibi, bir crowdworker’a bir ifadenin “zehirli” olup olmadığını sormaktan farklı olduğunu belirtir:

‘Sosyal gerçekliğin karmaşıklığını dikkate alarak, insanların zehirliliğe ilişkin algıları önemli ölçüde değişir. Their labels of toxic content are based on their own perceptions.’

Kişilik ve yaşın nefret söylemi etiketlemesinde önemli bir etkiye sahip olduğunu bulan Syracuse araştırmacıları, şöyle demektedir:

‘Bu bulgular, nefret söylemi için farklı arka planlara ve kişiliklere sahip etiketleyiciler arasında tutarlılık elde etme çabalarının asla tam olarak başarılı olmayabileceğini öne sürmektedir.’

Hakem de Önyargılı Olabilir

Bu nesnelliğin eksikliği, Syracuse makalesine göre, konsensus oylarını belirleyen manuel müdahale (veya otomatik politika, aynı zamanda bir insan tarafından belirlenir) da aynı şekilde incelemeye tabi tutulmalıdır.

Forum moderasyonuyla benzerlik kurarak, yazarlar şöyle demektedir:

‘[B]ir topluluğun moderatörleri, postaları ve kullanıcıları topluluğun deneyimi için önemli bir şekilde etkileyebilir. Moderatörlerin kararları, topluluğa sunulan içeriği ve tartışma deneyimini etkiler.

‘Moderatörlerin, diğer topluluk üyeleriyle demografik homojenliğe sahip olduğu varsayıldığında, onların kullandığı zihinsel şema, diğer topluluk üyelerinkine uyumlu olabilir.’

Bu, Syracuse araştırmacılarının nefret söylemi etiketleme geleceği konusunda neden böyle bir karamsar sonuca vardıklarına dair bir ipucu vermektedir; ima edilen şey, crowdwork sonuçlarındaki anlaşmazlıklara ilişkin politika ve yargıların, rastgele uygulanamayacağıdır.

Crowdworkers (karar verenler) önyargılıdır ve bu görev için işe yaramazlar, çünkü görev, bir değer yargısı vermektir; anlaşmazlıkları çözen crowdwork sonuçlarındaki politika ve yargıları belirleyenler de değer yargıları yapmaktadır.

Bir nefret söylemi algılama çerçevesinde yüzlerce politika olabilir ve her birini Yargıtay’a kadar geri götürmek mümkün olmadığı sürece, “yetkili” konsensus nereden kaynaklanabilir?

Google araştırmacıları, ‘[işaretleyiciler arasındaki] anlaşmazlıklar, görev hakkında değerli nüanslar içerebilir’ önerisinde bulunurlar. Makale, anlaşmazlıkları bağlamsallaştıran ve yansıtan veri setleri için metadata kullanımını önerir.

Ancak, böyle bir bağlamsal veri katmanının, benzeri gibi ölçümlemelere yol açması, mevcut standart testlerin taleplerine uyum sağlaması veya herhangi bir kesin sonuca destek olması nasıl mümkün olabilir, gerçekçi olmayan bir senaryo dışında – sonraki çalışmalarda aynı araştırma grubunun benimsenmesi durumu hariç.

İşaretleyici Havuzunu Düzenleme

Bütün bunlar, bir araştırma projesinde konsensus oylamasına yol açan çoklu işaretleme için bütçenin olduğunu varsayar. Çoğu durumda, araştırmacılar, coğrafi konum, cinsiyet veya diğer kültürel faktörler gibi özellikler belirtmek suretiyle, daha ucuz bir şekilde outsourced annotation havuzunu “düzenlemeye” çalışırlar, çokluğu özgüllüğe tercih ederler.

Google makalesi, bu zorluklardan çıkış yolunun, Uber uygulamasının bir sürücü ve bir yolcu arasında sağladığı minimal iletişimi andıran, genişletilmiş iletişim çerçevelerini işaretleyicilerle kurmak olabileceğini öne sürmektedir.

Böyle bir dikkatli işaretleyici değerlendirmesi, doğal olarak, hyperscale annotation outsourcing’e engel olacaktır, bu da daha sınırlı ve düşük hacimli veri setlerine yol açacaktır ve bu veri setlerinin sonuçları için daha iyi bir neden olacaktır, veya işaretleyiciler hakkında sınırlı bilgi edinilerek ve onları “göreve uygun” olarak karakterize ederek acele bir değerlendirme olacaktır.

Eğer işaretleyiciler dürüstse tabii.

Outsourced Veri Seti İşaretlemesinde ‘İnsanları Razı Edenler’

Mevcut işgücü, düşük ücret, şiddetli rekabet ve kariyer fırsatlarının azlığı nedeniyle motive edilmektedir, işaretleyiciler, hızlı bir şekilde “doğru” cevabı vermek ve bir sonraki mini-göreve geçmek için motive olurlar.

Eğer “doğru” cevap, Kedi var/ Yok gibi basit bir şeyden daha karmaşık bir şeyse, Syracuse makalesi, işçi’nin, cevabı, soru’nun içeriği ve bağlamına dayanarak “kabul edilebilir” bir cevap olarak belirlemeye çalışacağını öne sürmektedir:

‘Hem alternatif kavramların yayılması hem de basitleştirilmiş işaretleme yöntemlerinin yaygın kullanımı, online nefret söylemi araştırmalarının ilerlemesini engelliyor. Örneğin, Ross ve diğerleri buldu ki, işaretleyicilere Twitter’ın nefret içerikli davranış tanımını göstermek, onların kendi görüşlerini tanıma ile kısmen uyumlu hale getirdi. Bu, işaretleme tutarlılığının çok düşük olmasına yol açtı.’

* Makaledeki iç alıntıların hyperlink’e dönüştürülmesi.

13 Aralık 2021’de yayımlanmıştır – 18 Aralık 2021’de güncellenmiştir: Etiketler eklendi