Andrew Gordon, Prolific’in Kıdemli Araştırma Danışmanı – Röportaj Serisi

Andrew Gordon, psikoloji ve nörobilim alanındaki güçlü geçmişini kullanarak araştırmalarda içgörüler elde ediyor. Psikoloji lisansüstü, nöropsikoloji yüksek lisans ve bilişsel nörobilim doktorası ile Andrew, bilimsel ilkeleri kullanarak tüketici motivasyonları, davranışları ve karar alma süreçlerini anlamaya çalışıyor.

Prolific, araştırmacılar tarafından araştırmacılar için oluşturuldu ve yüksek kaliteli insan verisi ve girdisi için üstün bir yöntem sunmayı amaçlıyor. Bugün, 35.000’den fazla araştırmacı, Prolific AI’yi kullanarak kesin insan verisi ve geri bildirimi topluyor. Platform, güvenilir, dahil olan ve adil şekilde muamele gören katılımcıları ile bilinir ve her üç dakikada bir yeni bir çalışma başlatılır.

Araştırmalarda AI’yi kullanmak isteyen araştırmacılara yardımcı olmak için bilişsel nörobilim alanındaki geçmişinizi nasıl kullanıyorsunuz?

İyi bir başlangıç noktası, bilişsel nörobilimin neyi kapsadığını tanımlamaktır. Esasen, bilişsel nörobilim, bilişsel süreçlerin biyolojik temellerini araştırır. Nörobilim ve psikoloji ilkelerini birleştirir ve bazen bilgisayar bilimi gibi diğer alanları da içerir, bu da bize beyinimizin çeşitli zihinsel fonksiyonları nasıl sağladığını anlamamızı sağlar. Esasen, bilişsel nörobilim araştırmaları yapan herkesin güçlü araştırma yöntemleri ve insanların nasıl düşündüğü ve davrandığı hakkında iyi bir anlayışa sahip olması gerekir. Bu iki yön çok önemlidir ve birlikte yüksek kaliteli AI araştırmaları geliştirmek ve yürütmek için kullanılabilir. Bir uyarı, AI araştırmalarının geniş bir terim olduğu ve temel model eğitimi ve veri işaretleme gibi konulardan AI sistemleri ile etkileşimi anlamaya kadar birçok şeyi içerebileceğidir. AI ile araştırma projeleri yürütmek, AI dışı araştırma projeleri yürütmekten farklı değildir;仍然 iyi bir metodoloji anlayışına, çalışmaların tasarlanmasına, örneklemin doğru şekilde seçilmesine ve ardından verilerin etkili analizlerle araştırma sorusunu yanıtlamak için kullanılmasına ihtiyacınız vardır.

Prolific, katılımcıların etik şekilde muamele görmesi ve adil şekilde ödemesi konusunda vurgu yapıyor. Bu standartları korumadaki zorluklar ve çözümler hakkında görüşlerinizi paylaşabilir misiniz?

Ödeme modelimiz, katılımcıların değerli ve ödüllendirildiğini hissetmelerini sağlamak için tasarlandı, böylece araştırma makinesinin önemli bir parçası olduklarını hissediyorlar. Katılımcılara adil bir ödeme oranı sağlamanın ve onları araştırma ile daha derinlemesine etkileşime girmeye motive etmenin, daha iyi veri sağladıklarını düşünüyoruz.

Maalesef, çoğu çevrimiçi örnekleme platformu bu ilkeleri uygulamıyor. Sonuç, araştırma ile etkileşime girmek yerine araştırma üzerinden geçmek için teşvik edilen bir katılımcı havuzu oluyor, bu da düşük kaliteli verilere yol açıyor. Prolific’te aldığımız tutumu korumak zor; esasen karşı akıma karşı savaşıyoruz. AI araştırmaları ve diğer çevrimiçi araştırmaların durumu, katılımcıların tedavisi veya refahı yerine mümkün olan en düşük maliyetle en fazla verinin toplanmasına odaklanmıştı.

Araştırmacıların neden bu yaklaşımı seçtiğimizi ve bizimle çalışmanın faydalarını anlamalarını sağlamak zorlu bir görev. Bir diğer zorluk, lojistik bir bakış açısıyla, katılımcılarımızın veya araştırmacılarımızın endişelerine, sorularına veya şikayetlerine zamanında ve adil bir şekilde cevap vermek için önemli zaman ayırmamız gerekiyor. Bu, her iki tarafın da – katılımcıların ve araştırmacıların – mutlu olmasını ve Prolific’e geri dönmelerini sağlıyor. Ancak, araştırmacılarımızın platformumuzun dışındaki görev veya anketlerine katılımcıları aldıklarında, onlara en yüksek tedavi ve ödeme standartlarını uygulamalarını bekliyoruz. Ne olduğu bizim kontrolümüzde değil, bu nedenle katılımcılarımızın bir sorun olduğunu bize bildirmesine ve araştırmacılarımızın mümkün olan en yüksek standartları korumalarına güveniyoruz.

AI geliştirme alanındaki insan geri bildiriminin temel rolü hakkında düşünceleriniz nelerdir, özellikle de önyargı algılama ve sosyal akıl yürütme iyileştirmesi gibi konularda?

AI geliştirme sürecinde insan geri bildirimi çok önemlidir. İnsanların katılımı olmadan, önyargıları devam ettirmek, insan sosyal etkileşiminin nüanslarını göz ardı etmek ve AI ile ilgili bazı olumsuz etik endişeleri çözmemek riskini taşırız. Bu, sorumlu, etkili ve etik AI sistemleri oluşturma yolundaki ilerlememizi engelleyebilir. Önyargı algılama konusunda, geliştirme sürecinde insan geri bildirimi dahil etmek çok önemlidir, çünkü AI’nin mümkün olduğunca geniş bir görüş ve değer yelpazisini yansıtmayı amaçlamalıyız, birini diğerine tercih etmemeliyiz. Farklı demografik özellikler, geçmişler ve kültürler, bilinçdışı önyargılar içerebilir ve bu, geniş çapta kabul görmeyen bir bakış açısını yansıtabilir. Prolific ve Michigan Üniversitesi arasındaki işbirliği, farklı anotatörlerin geçmişlerinin, konuşma zehirliliğini veya nezaket gibi konularda nasıl değerlendirdiklerini önemli ölçüde etkileyebileceğini vurguladı. Bunu çözmek için, çeşitli geçmişlerden, kültürlerden ve perspektiflerden katılımcıları dahil etmek, AI sistemlerinin geliştirilmesinde bu önyargıların yerleştirilmesini önleyebilir. Ayrıca, insan geri bildirimi, otomatik yöntemlerle tespit edilemeyen daha ince önyargıları tespit etmemize olanak tanır. Bu, algoritmalar, temel modeller veya veri ön işleme tekniklerinde önyargıları gidermek için ayarlamalar yapma fırsatı sağlar.

Sosyal akıl yürütme durumu esasen aynıdır. AI, sosyal bir varlık olmadığı için sosyal akıl yürütme gerektiren görevlerde genellikle mücadele eder, oysa insanlar sosyal varlıklardır. Bağlamı algılamak, alaycılığı tespit etmek veya duygusal ipuçlarını tanımak, AI’nin kendi başına öğrenemeyeceği insan benzeri sosyal akıl yürütme becerilerini gerektirir. İnsanlar olarak, sosyal olarak öğreniriz, bu nedenle AI sistemlerine bu tür akıl yürütme tekniklerini öğretmenin tek yolu, AI’yi çeşitli sosyal ipuçlarını yorumlayıp yanıtlayabilmesi için gerçek insan geri bildirimi kullanmaktır. Prolific, AI modellerinin bu önemli beceriyi öğrenmesini sağlamak için özel olarak tasarlanmış bir sosyal akıl yürütme veri seti geliştirdi.

Aslında, insan geri bildirimi, AI sistemlerinin nerede başarılı veya başarısız olduğunu belirlemelerine yardımcı olur ve geliştiricilerin algoritmaları iyileştirmeleri ve rafine etmeleri için gerekli ayarlamaları yapmalarını sağlar. Bu, ChatGPT’nin çalışması gibi bir örnek olarak görülebilir. Bir soru sorduğunuzda, bazen iki cevap sunar ve hangisinin en iyi cevap olduğunu rankınıza sorar. Bu, modelin sürekli öğrenmesi ve geliştiricilerin en iyi cevapları belirlemek için insan girdisine ihtiyaç duyduğu içindir.

Prolific, AI eğitimi ve araştırmaları için araştırmacılarla katılımcıları bir araya getirmede etkili oldu. Başarı hikayeleri veya Prolific platformu aracılığıyla mümkün kılınan önemli AI ilerlemeleri hakkında bilgi verebilir misiniz?

Çok sayıda AI çalışmamızın ticari doğası ve özellikle akademik olmayan alanlardaki çalışmalarımız nedeniyle, çoğu proje sıkı gizlilik anlaşmaları altında yürütülüyor. Bu, teknikleri veya yöntemleri taklit edilmekten korumak için yapılıyor. Ancak tartışabileceğimiz bir proje, Remesh ile ortaklığımızdır. AI destekli bir içgörüler platformu olan Remesh ile birlikte, ABD nüfusunun temsilcisi örneklerini kullanmak için bir sistem geliştirdik. Bu projede, binlerce kişi Remesh’in sistemi aracılığıyla AI ile ilgili politikalarda temsilci bir ABD nüfus örneği ile tartışmalara katıldı, bu da Prolific’in böyle bir çeşitli örneği sağlaması sayesinde kamuoyunun geniş bir şekilde yansıtan AI politikalarının geliştirilmesini sağladı.

Geleceğe bakıldığında, etik AI geliştirme geleceği hakkında vizyonunuz nedir ve Prolific bu vizyona ulaşılmasına nasıl katkıda bulunmayı planlıyor?

AI’nin geleceği ve geliştirilmesi hakkında umudum, AI’nin ancak eğitim verilerine bağlı olarak iyi olabileceği gerçeğinin tanınmasına dayanır. AI sistemleri için veri kalitesinin önemi abartılamaz. Kalitesiz verilerle eğitilen bir AI sistemi kaçınılmaz olarak kalitesiz bir AI sistemine yol açar. Yüksek kaliteli veri sağlamak için, motive ve çeşitli bir katılımcı grubunun işe alınması gerekir. Prolific’te, yaklaşımımız ve rehber ilkelerimiz, tam olarak bunu teşvik etmeyi amaçlıyor. Güvenilir, dikkatlice seçilmiş ve güvenilir bir katılımcı havuzu oluşturarak, araştırmacıların gelecekte daha etkili, güvenilir ve güvenilir AI sistemleri geliştireceğini öngörüyoruz.

İnsan tarafından güçlendirilmiş AI eğitim verisi toplamakta karşılaştığınız en büyük zorluklar nelerdir ve Prolific bu engelleri nasıl aşar?

En önemli zorluk, şüphesiz, veri kalitesidir. Kötü veri sadece işe yaramaz değil, aynı zamanda özellikle finansal piyasalar veya askeri operasyonlar gibi kritik alanlarda AI sistemleri kullanıldığında zararlı sonuçlara yol açabilir. Bu, “çöp iç, çöp dış” ilkesini vurgulamaktadır. Giriş verileri kalitesizse, ortaya çıkan AI sistemi de kalitesiz veya faydasız olacaktır. Çoğu çevrimiçi örnek, AI geliştirme için optimal olandan daha düşük kaliteli veri üretme eğilimindedir. Bunun birçok nedeni vardır, ancak Prolific’in ele aldığı bir ana faktör, çevrimiçi katılımcıların genel olarak nasıl muamele gördüğüdür. Çoğu zaman, bu kişiler, düşük ücret, kötü muamele ve araştırmacılardan little saygı görürler. Katılımcılara etik şekilde davranmaya ve adil bir şekilde ödemeye bağlı kalarak, Prolific, motive, dahil olan, düşünceli, dürüst ve dikkatli katılımcılar havuzu yetiştirdi. Bu nedenle, Prolific aracılığıyla toplanan veriler, güvenilir ve güvenilir AI modellerinin temelini oluşturur.

AI eğitim verisi toplamakta karşılaştığımız bir diğer zorluk, örneklemdeki çeşitliliği sağlamaktır. Çevrimiçi örneklemeler, araştırma için dahil edilebilecek bireylerin kapsamını ve çeşitliliğini önemli ölçüde genişletti, ancak genellikle Batı ülkelerinden, genç, bilgisayar okuryazarı, yüksek eğitimli ve daha solcu demografik özelliklere sahip bireyleri içerir. Bu, küresel nüfusu tam olarak temsil etmez. Bunu çözmek için, Prolific’in dünya çapında 38 ülkeden katılımcıları vardır. Araştırmacılarımıza, önceden örneklemelerinin kesin demografik yapısını belirlemek için araçlar sunarız. Ayrıca, yaş, cinsiyet, etnik köken veya siyasi bağlılık gibi şablonlar aracılığıyla temsilci örneklemesi sunarız. Bu, çalışmaların, anotasyon görevlerinin veya diğer projelerin çeşitli bir katılımcı yelpazesi aldıklarını ve dolayısıyla geniş bir yelpazede içgörüler elde etmelerini sağlar.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Prolific‘i ziyaret edebilir.