Nora Petrova, Makine Öğrenimi Mühendisi ve AI Danışmanı olarak Prolific – Röportaj Serisi

Nora Petrova, Prolific‘te Makine Öğrenimi Mühendisi ve AI Danışmanı olarak görev yapmaktadır. Prolific, 2014 yılında kurulmuş ve already Google, Stanford Üniversitesi, Oxford Üniversitesi, King’s College London ve Avrupa Komisyonu gibi organizasyonları müşterileri arasında saymaktadır. Prolific, yeni ürünleri test etmek, göz izleme gibi alanlarda AI sistemlerini eğitmek ve insanlarla etkileşimli AI uygulamalarının amaçlandığı gibi çalışıp çalışmadığını belirlemek için katılımcı ağı kullanmaktadır.

Kendiniz ve Prolific’teki geçmişiniz hakkında bilgi verebilir misiniz? AI’ye ilgi duymaya nasıl başladınız?

Prolific’teki rolüm, AI kullanım örnekleri ve fırsatları hakkında danışmanlık yapmak ve daha çok Makine Öğrenimi Mühendisi olarak görev yapmak arasında bölünmüştür. Kariyerime Yazılım Mühendisliği olarak başladım ve dần olarak Makine Öğrenimi’ne geçiş yaptım. Son 5 yıldan fazlasını NLP kullanım örnekleri ve sorunları üzerinde odakladım.

AI’ye ilk olarak ilgi duymam, veriden öğrenme yeteneği ve bu yeteneğin nasıl bizim, insanların, öğrenme şeklimizle ve beyin yapımızla bağlantılı olduğu idi. Sanırım Makine Öğrenimi ve Nörobilim birbirini tamamlar ve AI sistemlerini nasıl inşa edeceğimiz konusunda daha iyi bir anlayışa sahip olmamıza yardımcı olabilir.

Şahsen farkında olduğunuz en büyük AI yanlılık sorunları nelerdir?

Yanlışlık, AI modellerine verdiğimiz verilerin içinde mevcuttur ve onu tamamen ortadan kaldırmak çok zordur. Ancak, verideki yanlılıkların farkında olmak ve zararlı yanlılıkları modèlelerin önemli görevlere başlamadan önce azaltmak çok önemlidir. En büyük sorunlar, modellerin zararlı stereotipleri devam ettirmesi, sistemik önyargıları ve toplumda adaletsizlikleri devam ettirmesidir. AI modellerinin nasıl kullanılacağını ve kullanıcıları üzerinde nasıl bir etkiye sahip olacağını düşünmeli ve onları duyarlı kullanım örnekleri için onaylamadan önce güvenli olduklarını đảmalamalıyız.

AI modellerinin zararlı yanlılıklar sergilediği bazı önemli alanlar, okullarda ve üniversitelerde az temsil edilen grupların ayrımcılığı ve kadınların işe alımında olumsuz etkileri içermektedir. Ayrıca, bir ceza adaleti algoritmasının Afro-Amerikan sanıkları “yüksek risk” olarak etiketlediğini ve beyaz sanıklara göre nearly iki kat daha fazla yanlış etiketlediğini bulduk. Yüz tanıma teknolojisi de hala temsil edici eğitim verisi eksikliği nedeniyle azınlıklar için yüksek hata oranlarından mustariptir.

Yukarıdaki örnekler, AI modellerinin sergilediği yanlılıkların küçük bir bölümünü kapsar ve gelecekte daha büyük sorunların ortaya çıkabileceğini öngörüyoruz. AI modellerinin, insan karar vermelerinin etkilediği ve denetimsiz ve bilinçdışı yanlılıkların neden olduğu yanlılıkları içeren veriden öğrendiğini unutmamalıyız. Birçok durumda, insan karar vericisine başvurmak yanlılığı ortadan kaldırmayabilir. Gerçekten yanlılıkları azaltmak, verideki yanlılıkları anlamak, yanlılıklı tahminlere katkıda bulunan faktörleri izole etmek ve önemli kararları neye dayanarak alacağımıza birlikte karar vermek anlamına gelir. Güvenli kullanım örnekleri için modelleri değerlendirebileceğimiz standartlar geliştirmek önemli bir adım olacaktır.

Her türlü üretken AI için AI sanrıları büyük bir sorundur. İnsan-döngü-içinde (HITL) eğitimin bu sorunları nasıl azaltabileceğini tartışabilir misiniz?

AI modellerindeki sanrılar, özellikle üretken AI’nin belirli kullanım örneklerinde sorunludur, ancak kendileri başlarına sorun değildir. Bazı yaratıcı AI kullanımlarında, sanrılar hoş karşılanır ve daha yaratıcı ve ilginç bir yanıt oluşturmaya katkıda bulunur.

Ancak, sağlık gibi gerçek bilgiye dayanan kararların alındığı kullanım örneklerinde sorunludur. Sağlık profesyonellerine güvenilir gerçek bilgi sağlanması çok önemlidir.

HITL, insanların modellere belirli bir güven seviyesinin altına düşen tahminler için doğrudan geri bildirim sağladıkları sistemleri ifade eder. Sanrılar bağlamında, HITL, modellerin farklı kullanım örnekleri için hangi güven seviyesine sahip olması gerektiğini öğrenmelerine yardımcı olabilir. Bu eşiikler, kullanım örneğine bağlı olarak değişecektir. Örneğin, bir yasal kullanım örneğinde, insanlar AI modellerine, karmaşık yasal belgelerin manyetik ve koşullarının bulunduğu soruları yanıtlarken gerçekleri kontrol etmenin gerekli bir adım olduğunu gösterebilir.

AI çalışanları, özellikle veri anotatörleri, potansiyel yanlılık sorunlarını nasıl azaltmaya yardımcı olabilir?

AI çalışanları öncelikle verideki yanlılıkları tanımlamaya yardımcı olabilir. Yanlılık tanımlandıktan sonra, azaltma stratejileri geliştirmek daha kolay olur. Veri anotatörleri, yanlılığı azaltmak için yollar önermektedir. Örneğin, NLP görevleri için, sorunlu metin parçalarını daha az yanlı bir şekilde yeniden ifade etmelerine yardımcı olabilirler. Ayrıca, AI çalışanlarındaki çeşitlilik, etiketleme yanlılıklarını azaltmaya yardımcı olabilir.

AI çalışanlarının AI sistemine kendi insan yanlılıklarını kazayla beslememesini nasıl garantileyebilirsiniz?

Bu, dikkatli düşünülmesi gereken karmaşık bir sorundur. İnsan yanlılıklarını tamamen ortadan kaldırmak neredeyse imkansızdır ve AI çalışanları AI modellerine kendi yanlılıklarını kazayla besleyebilirler, bu nedenle en iyi uygulamalara rehberlik eden süreçler geliştirmek önemlidir.

AI çalışanlarının insan yanlılıklarını en aza indirmek için atılabilecek bazı adımlar şunlardır:

• AI çalışanlarının bilinçdışı yanlılıklar ve bunları nasıl tanımlayıp yönetecekleri konusunda kapsamlı eğitimleri.
• AI çalışanlarının yanıtlarını göndermeden önce kendi yanıtlarını doğrulamalarını hatırlatan kontrol listeleri.
• AI çalışanlarının yanlılıkların farklı türlerinde yanıtları değerlendirmelerini sağlayan bir değerlendirme.

Dünya çapındaki düzenleyiciler, AI çıktısını düzenlemek istiyorlar. Düzenleyicilerin neyi yanlış anladığını ve neyi doğru yaptıklarını düşünüyorsunuz?

Öncelikle, bu çok zor bir sorun olduğunu ve kimsenin henüz çözüm bulamadığını söylemek önemlidir. Toplum ve AI birbirini etkileyecek ve birbirini etkileyerek gelişecektir. Etkili düzenleme uygulamaları geliştirmek için AI’de neler olup bittiğine, insanların AI’ye nasıl tepki verdiğine ve AI’nin farklı endüstrilere nasıl etki ettiğine dikkat etmek önemlidir.

Düzenleyicilerin AI’yi etkili bir şekilde düzenlemelerini engelleyen önemli bir engel, AI modellerinin ne yapabileceğini ve nasıl çalıştığını anlamaktaki eksikliktir. Bu, AI modellerinin farklı sektörler ve toplum kesimleri üzerinde nasıl bir etkiye sahip olacağını doğru bir şekilde öngörmeyi daha da zorlaştırır. Bir diğer eksik alan, AI modellerini insan değerlerine nasıl hizalayacağımız ve güvenlik ne anlama geldiği konusunda somut bir anlayış geliştirmektir.

Düzenleyiciler, AI alanında uzmanlarla işbirliği yapmış, AI’ye ilişkin kuralları fazla sıkı tutarak inovasyonu engellemekten kaçınmış ve AI’nin işgücü piyasası üzerindeki etkileri ve işsizlik gibi konularda düşünmüşlerdir. Bu, çok önemli alanlardır. AI düzenlemeleri konusunda düşüncelerimiz netleştikçe dikkatli ilerlemeli ve bu konuya demokratik bir şekilde yaklaşmak için mümkün olduğunca çok insanı dahil etmeliyiz.

Prolific çözümleri, girişimlerin AI yanlılıklarını ve tartıştığımız diğer sorunları azaltmasına nasıl yardımcı olabilir?

AI projeleri için veri toplama süreci her zaman düşünülmüş veya bilinçli bir süreç olmamıştır. Önceki yıllarda, veri kazıma, offshoring ve diğer yöntemler yaygındı. Ancak, AI’yi nasıl eğittiğimiz çok önemlidir ve bir sonraki nesil modellerin, kasıtlı olarak toplanan, yüksek kaliteli verilere dayanması gerekecektir. Bu, gerçek insanlardan ve doğrudan temas ettiğimiz insanlardan gelen veriler olacaktır. İşte Prolific burada bir iz bırakmaktadır.

Diğer alanlar, zoals anketler, pazar araştırması veya bilimsel araştırma, bunu uzun zaman önce öğrendi. Örnekleminizi hangi gruptan aldığınız, sonuçlarınızı etkiler. AI, bunu anlamaya başlıyor ve şimdi bir yol ayrımındayız.

Şimdi, daha iyi örneklemeler kullanmaya ve AI eğitimi ve iyileştirme için daha temsil edici gruplarla çalışmaya başlama zamanı. Her ikisi de güvenli, yanlılıktan arınmış ve hizalanmış modeller geliştirmek için çok önemlidir.

Prolific, girişimlerin AI deneylerini güvenli bir şekilde gerçekleştirmelerine ve yanlılıkları kontrol altında tutarak katılımcılardan veri toplamasına yardımcı olabilir. AI veri toplama ve seçiminde en iyi uygulamalar hakkında rehberlik sağlayabilir ve katılımcıların adil bir şekilde seçimini ve ücretlendirilmesini sağlayabilir.

AI şeffaflığı hakkında görüşünüz nedir, kullanıcıların AI algoritmalarının hangi verilere dayandığını görmeleri gerekiyor mu?

Sanırım şeffaflık konusunda artılar ve eksiler vardır ve henüz iyi bir denge bulunmamıştır. Şirketler, dava korkusu nedeniyle AI modellerini eğittiği verileri paylaşmamaktadır. Diğerleri, AI modellerini kamuoyuna açıklamış ve kullandıkları verilerin tüm bilgilerini paylaşmıştır. Tam şeffaflık, bu modellerin güvenlik açıklarının suiistimal edilmesine olanak tanır. Tam gizlilik, güven oluşturmaya ve toplumu güvenli AI geliştirmeye dahil etmeye yardımcı olmaz. İyi bir orta yol, AI modellerinin iyi kaliteli, ilgili verilere dayandığını ve bizim onayladığımız verilere dayandığını anlamamızı sağlayacaktır. AI’nin farklı endüstrileri nasıl etkilediğine dikkat etmeli ve etkilenen taraflarla açık diyaloglar kurmalı ve herkes için çalışan uygulamalar geliştirmeliyiz.

Kullanıcıların, bir modelin neden belirli bir yanıtı ürettiğini anlamak istediklerinde, onlara modelin eğitildiği ham veriyi vermenin yardımcı olmayacağını düşünüyorum. Bu nedenle, iyi açıklanabilirlik ve yorumlanabilirlik araçları geliştirmek önemlidir.

AI hizalama araştırmaları, AI sistemlerini insanların amaçlarına, tercihlerine veya etik ilkelerine yöneltmeyi amaçlar. AI çalışanlarının nasıl eğitildiğini ve AI’nin nasıl hizalandığını tartışabilir misiniz?

Bu, aktif bir araştırma alanıdır ve hangi stratejileri kullanacağımız konusunda henüz bir uzlaşma yoktur.

AI çalışanları genellikle tercihlerini samimi bir şekilde temsil etmeleri ve güvenlik, yanlılıktan arınmışlık, zararsızlık ve faydalılık ilkelerine uymaları istenir.

Amaçlara, etik ilkelerine veya değerlere hizalamak için bazı vaat eden yaklaşımlar vardır. Democratic Fine-Tuning üzerine The Meaning Alignment Institute’nin çalışması gibi. Bu fikir hakkında mükemmel bir giriş burada bulunabilir.

Harika röportaj için teşekkür ederiz ve AI yanlılığı hakkında görüşlerinizi paylaştığınız için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular Prolific‘i ziyaret edebilirler.