Nora Petrova, Makine Öğrenimi Mühendisi ve Prolific’te AI Danışmanı – Röportaj Serisi

Nora Petrova, Prolific’te Makine Öğrenimi Mühendisi ve AI Danışmanıdır. Prolific, 2014 yılında kurulmuş ve Google (GOOGL ), Stanford Üniversitesi, Oxford Üniversitesi, King’s College London ve Avrupa Komisyonu gibi organizasyonların müşterileri arasında yer almaktadır. Prolific, yeni ürünlerin test edilmesi, AI sistemlerinin göz takibi gibi alanlarda eğitilmesi ve insanlarla etkileşimli AI uygulamalarının amaçlandığı gibi çalışıp çalışmadığına karar verilmesi için katılımcı ağı kullanmaktadır.

Sizden Prolific’teki geçmişiniz ve kariyeriniz hakkında bilgi alabilir miyiz? AI’ye ilgi duymaya nasıl başladınız?

Prolific’teki rolüm, AI kullanım örnekleri ve fırsatları hakkında danışmanlık yapmak ve daha çok eldeki Makine Öğrenimi Mühendisi olarak ikiye ayrılmıştır. Kariyerime Yazılım Mühendisliği olarak başlamış ve dần dần Makine Öğrenimi’ne geçiş yapmışım. Son 5 yılın çoğunu NLP kullanım örnekleri ve sorunları üzerinde odaklanmışım.

AI’ye ilk olarak ilgi duymama neden olan, veriden öğrenme yeteneği ve bu yeteneğin insan beyninin yapısı ile bağlantısı oldu. Sanırım Makine Öğrenimi ve Nörobilim birbirini tamamlayabilir ve AI sistemlerinin dünyayı gezmesi, yaratıcılık göstermesi ve topluma değer katması için gerekli olan anlayışımızı geliştirebilir.

Şahsen farkında olduğunuz en büyük AI yanlılığı sorunları nelerdir?

Yanlışlık, AI modellerine verdiğimiz verilerin içinde mevcuttur ve tamamen ortadan kaldırmak çok zordur. Ancak, verideki yanlılıkların farkında olmak ve zararlı yanlılıkları önemli görevlerde modele güvenmeden önce azaltmak çok önemlidir. En büyük sorunlar, modellerin zararlı klişeleri sürdürmesi, sistemli önyargıları ve adaletsizlikleri ve AI modellerinin kullanıcıları üzerindeki etkisini ve güvenli olup olmadığını garantilemek için kullanıcılara ve onaylayanlara dikkat etmek gerekmektedir.

AI modellerinin zararlı yanlılıklar sergilediği bazı önemli alanlar, okullarda ve üniversitelerde az temsil edilen grupların ayrımcılığı, kadınların işe alımında olumsuz etkilenmesi ve suç adaleti algoritmalarının siyahi sanıkları beyaz sanıklara göre daha fazla “yüksek risk” olarak sınıflandırması ve yüz tanıma teknolojisinin azınlıklar için yüksek hata oranlarına sahip olmasıdır.

Yukarıdaki örnekler, AI modellerinin sergilediği yanlılıkların küçük bir bölümünü kapsar ve gelecekte daha büyük sorunların ortaya çıkabileceğini öngörüyoruz. AI modellerinin, insan karar vermelerinin etkilediği ve denetimsiz ve bilinçdışı yanlılıkların etkilediği verilerden öğrendiğini unutmamak önemlidir. Birçok durumda, insan karar vericilere başvurmak yanlılığı ortadan kaldırmayabilir. Gerçekten yanlılıkları azaltmak, verilerin içinde nasıl bulunduğunu anlamak, yanlı tahminlere katkıda bulunan faktörleri izole etmek ve önemli kararlar için neye dayanmak istediğimizi topluca karar vermek anlamına gelir. Güvenli kullanım durumları için modelleri değerlendirebileceğimiz standartlar geliştirmek önemli bir adım olacaktır.

Her türlü yaratıcı AI için büyük bir sorun olan AI sanrıları hakkında, insan-çevrimiçi (HITL) eğitimin bu sorunları nasıl azaltabileceği hakkında konuşabilir misiniz?

AI modellerindeki sanrılar, özellikle yaratıcı AI kullanım örneklerinde sorunludur, ancak kendi başlarına sorun değildir. Bazı yaratıcı AI kullanım örneklerinde, sanrılar hoş karşılanır ve daha yaratıcı ve ilginç bir yanıt oluşturmaya katkıda bulunur.

Sağlık gibi, karar almada güvenirliğin önemli olduğu alanlarda, sağlık profesyonellerine güvenilir ve gerçek bilgileri sağlamak çok önemlidir.

HITL, modellerin, belirli bir güven seviyesinin altında olan tahminler için doğrudan insan geri bildirimi almasına olanak tanıyan sistemleri ifade eder. Sanrılar bağlamında, HITL, modellerin farklı kullanım örnekleri için hangi güven seviyesine sahip olması gerektiğini öğrenmelerine yardımcı olabilir. Bu eşikler, kullanım örneğine bağlı olarak değişecektir ve modellere, farklı kullanım örnekleri için gereken titizlik farklılıklarını öğretmek, sorunlu sanrıları azaltmak için önemli bir adım olacaktır. Örneğin, bir yasal kullanım örneğinde, insanlar AI modellerine, karmaşık yasal belgelerin birçok koşul ve koşulla ilgili sorulara cevap verirken gerçekleri kontrol etmenin gerekli bir adım olduğunu gösterebilir.

AI çalışanları, özellikle veri anotatörleri, potansiyel yanlılık sorunlarını nasıl azaltabilir?

AI çalışanları, öncelikle verideki yanlılıkları tanımlamaya yardımcı olabilir. Yanlılık tanımlandıktan sonra, azaltma stratejileri geliştirmek daha kolay olur. Veri anotatörleri, yanlılığı azaltmak için yollar önermek için de yardımcı olabilir. Örneğin, NLP görevleri için, sorunlu metin parçalarını, dildeki yanlılığı azaltacak şekilde yeniden ifade etmelerine yardımcı olabilir. Ayrıca, AI çalışanlarındaki çeşitlilik, etiketleme yanlılıklarını azaltmaya yardımcı olabilir.

AI çalışanlarının, AI sistemine kendi insan yanlılıklarını kazara beslemelerini nasıl önleyebilirsiniz?

Bu, dikkatli düşünmeyi gerektiren karmaşık bir sorundur. İnsan yanlılıklarını tamamen ortadan kaldırmak neredeyse imkansızdır ve AI çalışanları, AI modellerine kendi yanlılıklarını kazara besleyebilir, bu nedenle işçilerin en iyi uygulamalara uymalarına rehberlik edecek süreçler geliştirmek çok önemlidir.

İnsan yanlılıklarını en aza indirmek için atılabilecek bazı adımlar şunlardır:

• AI çalışanlarının bilinçdışı yanlılıkları ve bu yanlılıkları tanımlama ve yönetme araçları hakkında kapsamlı eğitim.
• Çalışanların yanıtlarını göndermeden önce doğrulamalarını hatırlatan kontrol listeleri.
• Çalışanların, farklı yanlılıkların örneklerini gösteren bir değerlendirmeye tabi tutulması ve en az yanlı yanıtı seçmeleri.

Dünya çapındaki düzenleyiciler, AI çıktısını düzenlemek istiyorlar. Düzenleyicilerin neyi yanlış anladığına ve neyi doğru yaptığı görüşünüz nedir?

Bu, gerçekten zor bir sorun ve kimse henüz çözümü bulamadı. Toplum ve AI, birbirlerini etkileyerek, çok zor öngörülebilecek şekillerde evrilecekler. Etkili bir düzenleme stratejisinin parçası, AI’de neler olduğu, insanların buna nasıl tepki verdiği ve farklı endüstriler üzerindeki etkileri hakkında dikkat etmek önemlidir.

Düzenleyicilerin AI modellerinin ne yapabileceği ve nasıl çalıştığı hakkında yeterli bilgiye sahip olmaması, etkili AI düzenlemesinin önündeki önemli bir engel olarak görüyorum. Bu, AI modellerinin farklı sektörler ve toplumun farklı kesimleri üzerindeki sonuçlarını doğru bir şekilde öngörmeyi daha da zorlaştırıyor. Bir diğer eksik alan, AI modellerini insan değerleri ile hizalamak ve güvenliğin somut olarak ne anlama geldiği hakkında liderlik göstermektir.

Düzenleyiciler, AI alanındaki uzmanlarla işbirliği yapmış, AI için fazla katı kurallar koymaktan kaçınmış ve AI’nin işgücü yer değiştirmesi üzerindeki etkileri hakkında düşünmeye başlamışlar, bu da çok önemli alanlardır. Düşüncelerimiz AI düzenlemesi hakkında netleştikçe dikkatli ilerlemeli ve bu sorunu demokratik bir şekilde ele almak için mümkün olduğunca çok insanı dahil etmeliyiz.

Prolific çözümleri, girişimlerin AI yanlılığını ve diğer konuları azaltmasına nasıl yardımcı olabilir?

AI projeleri için veri toplama her zaman düşünülmüş veya bilinçli bir süreç olmamıştır. Daha önce veri kazıma, offshore ve diğer yöntemler yaygın olarak kullanılmıştır. Ancak AI’yi nasıl eğittiğimiz çok önemlidir ve bir sonraki nesil modeller, kasıtlı olarak toplanan, yüksek kaliteli verilerden ve gerçek insanlardan inşa edilmelidir. İşte Prolific’in fark yarattığı yer burasıdır.

Diğer alanlar, örneğin anketler, pazar araştırması veya bilimsel araştırma, bu gerçeği çok önce öğrendi. Örnekleminizi aldığınız kitle, sonuçlarınız üzerinde büyük bir etkiye sahiptir. AI, nihayet bu gerçeğe ulaşıyor ve şimdi bir yol ayrımındayız.

Şimdi, daha iyi örnekler kullanmaya ve daha temsilcisi gruplarla çalışmaya başlama zamanı. Her ikisi de güvenli, yanlısız ve hizalı modeller geliştirmek için çok önemlidir.

Prolific, girişimlerin AI deneylerini güvenli bir şekilde gerçekleştirmelerine ve yanlılığı kontrol edilen ve azaltılan katılımcılardan veri toplamasına yardımcı olabilir. En iyi veri toplama ve seçim uygulamaları hakkında rehberlik sağlayabilir ve katılımcıların adil bir şekilde muamele görmesini ve ödenmesini sağlayabiliriz.

AI şeffaflığı hakkında görüşünüz nedir, kullanıcıların AI algoritmalarının hangi verilere dayandığını görmelerine izin verilmeli midir?

Sanırım şeffaflık ve şeffaflık arasında bir denge bulunması gerekiyor. Şirketler, dava korkusu nedeniyle AI modellerini eğittiği verileri açıklamaktan kaçınıyorlar. Diğerleri, AI modellerini kamuoyuna açıklayarak ve kullandıkları verileri açıkladılar. Tam şeffaflık, bu modellerin zayıflıklarının sömürülmesine olanak tanır. Tam gizlilik, güven oluşturmaya ve toplumu güvenli AI geliştirmeye dahil etmeye yardımcı olmaz. İyi bir orta yol, AI modellerinin iyi kaliteli, ilgili ve rıza verilen verilere dayandığını güvenle anlamamızı sağlayacaktır. AI’nin farklı endüstrileri nasıl etkilediğini ve etkilenen taraflarla diyalogları açarak herkes için çalışacak uygulamalar geliştirmeye dikkat etmeliyiz.

Kullanıcıların, bir modelin belirli bir yanıtı neden ürettiğini anlamak için neyin yeterli olacağını düşünmek de önemlidir. Onlara modelin eğitildiği ham veriyi verirse, bu muhtemelen sorularını cevaplamayla मदद etmeyecektir. Bu nedenle, iyi açıklanabilirlik ve yorumlanabilirlik araçları geliştirmek önemlidir.

AI hizalama araştırmaları, AI sistemlerini insanların amaçlarına, tercihlerine veya etik ilkelerine yöneltmeyi hedefliyor. AI çalışanlarının eğitimi ve AI’nin hizalanması hakkında konuşabilir misiniz?

Bu, aktif bir araştırma alanı ve hangi stratejilerin kullanılması gerektiği konusunda henüz bir uzlaşma yoktur.

AI çalışanları genellikle, tercihlerini gerçekten temsil etmeleri ve güvenliği, yanlılığı, zararsızlığı ve faydalılığı içeren ilkeleri dikkate alarak sorulara doğru bir şekilde cevap vermeleri istenir.

Hedeflere, etik ilkelere veya değerlere yönelik hizalama konusunda, birkaç yaklaşım umut verici görünüyor. Bir örnek, The Meaning Alignment Institute tarafından yapılan Demokratik İnce Ayar çalışmasıdır. Bu fikri tanıtan mükemmel bir yazı burada bulunabilir. Burada mükemmel bir yazı bulunabilir.

Harika röportaj için teşekkür ederiz ve AI yanlılığı hakkındaki görüşlerinizi paylaştığınız için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular Prolific ziyaret edebilir.