Andrew Gordon, Konsultan Peneliti Senior, Prolific – Seri Wawancara

Andrew Gordon mengandalkan latar belakangnya yang kuat dalam psikologi dan neurosains untuk mengungkap wawasan sebagai peneliti. Dengan gelar BSc di Psikologi, MSc di Neuropsikologi, dan Ph.D. di Kognitif Neurosains, Andrew menggunakan prinsip-prinsip ilmiah untuk memahami motivasi konsumen, perilaku, dan pengambilan keputusan.

Prolific dibuat oleh peneliti untuk peneliti, dengan tujuan untuk menawarkan metode yang unggul untuk memperoleh data manusia berkualitas tinggi dan masukan untuk penelitian mutakhir. Saat ini, lebih dari 35.000 peneliti dari akademisi dan industri mengandalkan Prolific AI untuk mengumpulkan data manusia yang definitif dan umpan balik. Platform ini dikenal karena partisipannya yang dapat diandalkan, terlibat, dan diperlakukan secara adil, dengan studi baru yang diluncurkan setiap tiga menit.

Bagaimana Anda menggunakan latar belakang Anda dalam neurosains kognitif untuk membantu peneliti yang melakukan proyek yang melibatkan AI?

Titik awal yang baik adalah mendefinisikan apa yang dimaksud dengan neurosains kognitif. Secara esensial, neurosains kognitif menyelidiki landasan biologis dari proses kognitif. Ini menggabungkan prinsip-prinsip dari neurosains dan psikologi, dan terkadang ilmu komputer, yang membantu kita memahami bagaimana otak kita memungkinkan berbagai fungsi mental. Secara esensial, siapa pun yang melakukan penelitian neurosains kognitif perlu memiliki pemahaman yang kuat tentang metodologi penelitian dan pemahaman yang baik tentang bagaimana orang berpikir dan berperilaku. Dua aspek ini sangat penting dan dapat digabungkan untuk mengembangkan dan menjalankan penelitian AI yang berkualitas tinggi. Satu catatan, bagaimanapun, adalah bahwa penelitian AI adalah istilah yang luas; itu bisa melibatkan apa saja dari pelatihan model dasar dan anotasi data hingga memahami bagaimana orang berinteraksi dengan sistem AI. Menjalankan proyek penelitian dengan AI tidak berbeda dengan menjalankan proyek penelitian di luar AI; Anda masih memerlukan pemahaman yang baik tentang metode, merancang studi untuk menciptakan data terbaik, mengambil sampel dengan benar untuk menghindari bias, dan kemudian menggunakan data tersebut dalam analisis yang efektif untuk menjawab pertanyaan penelitian yang Anda tangani.

Prolific menekankan perlakuan etis dan kompensasi yang adil bagi partisipannya. Bisakah Anda membagikan wawasan tentang tantangan dan solusi dalam mempertahankan standar ini?

Model kompensasi kami dirancang untuk memastikan bahwa partisipan dihargai dan diberi imbalan, sehingga mereka merasa seperti mereka memainkan peran penting dalam mesin penelitian (karena mereka memang melakukannya). Kami percaya bahwa memperlakukan partisipan dengan adil dan memberikan mereka tingkat pembayaran yang adil, memotivasi mereka untuk lebih dalam terlibat dengan penelitian dan akhirnya memberikan data yang lebih baik.

Sayangnya, sebagian besar platform sampling online tidak menerapkan prinsip-prinsip pembayaran etis dan perlakuan. Hasilnya adalah kolam partisipan yang tidak termotivasi untuk terlibat dengan penelitian, tetapi untuk melewati penelitian secepat mungkin untuk memaksimalkan potensi penghasilan mereka, yang mengarah pada data berkualitas rendah. Mempertahankan posisi yang kami ambil di Prolific adalah tantangan; kami pada dasarnya melawan arus. Status quo dalam penelitian AI dan bentuk penelitian online lainnya belum fokus pada perlakuan partisipan atau kesejahteraan, tetapi lebih pada memaksimalkan jumlah data yang dapat dikumpulkan dengan biaya serendah mungkin.

Membuat komunitas penelitian yang lebih luas memahami mengapa kami mengambil pendekatan ini dan nilai yang mereka lihat dengan menggunakan kami, bukan platform kompetitor, menyajikan tantangan yang cukup. Tantangan lain, dari sudut pandang logistik, melibatkan menghabiskan waktu yang signifikan untuk merespons kekhawatiran, pertanyaan, atau keluhan dari partisipan atau peneliti kami dalam waktu yang tepat dan adil. Kami menghabiskan banyak waktu untuk ini karena ini menjaga pengguna di kedua sisi – partisipan dan peneliti – bahagia, mendorong mereka untuk terus kembali ke Prolific. Namun, kami juga sangat mengandalkan peneliti yang menggunakan platform kami untuk mematuhi standar perlakuan dan kompensasi kami yang tinggi sekali partisipan diambil ke tugas atau survei peneliti dan meninggalkan ekosistem Prolific. Apa yang terjadi di luar platform kami benar-benar berada di bawah kendali tim penelitian, sehingga kami bergantung tidak hanya pada partisipan yang memberitahu kami jika ada yang salah tetapi juga pada peneliti kami yang mempertahankan standar tertinggi yang mungkin. Kami mencoba menyediakan sebanyak mungkin pedoman untuk memastikan bahwa ini terjadi.

Mengingat model bisnis Prolific, apa pikiran Anda tentang peran penting umpan balik manusia dalam pengembangan AI, terutama dalam area seperti deteksi bias dan perbaikan penalaran sosial?

Umpan balik manusia dalam pengembangan AI sangat penting. Tanpa keterlibatan manusia, kita berisiko memperkuat bias, mengabaikan nuansa interaksi sosial manusia, dan gagal mengatasi beberapa pertimbangan etis negatif yang terkait dengan AI. Ini bisa menghambat kemajuan kita menuju menciptakan sistem AI yang bertanggung jawab, efektif, dan etis. Dalam hal deteksi bias, mengintegrasikan umpan balik manusia selama proses pengembangan sangat penting karena kita harus berusaha mengembangkan AI yang mencerminkan berbagai pandangan dan nilai sebanyak mungkin, tanpa memfavoritkan satu atas yang lain. Berbagai demografi, latar belakang, dan budaya semua memiliki bias tidak sadar yang, meskipun tidak selalu negatif, mungkin masih mencerminkan pandangan yang tidak secara luas diadopsi. Penelitian kolaboratif antara Prolific dan Universitas Michigan menyoroti bagaimana latar belakang annotator yang berbeda dapat secara signifikan mempengaruhi bagaimana mereka menilai aspek seperti toksisitas ucapan atau kesopanan. Untuk mengatasi ini, melibatkan partisipan dari berbagai latar belakang, budaya, dan perspektif dapat mencegah bias-bias ini menjadi melekat dalam sistem AI yang sedang dikembangkan. Selain itu, umpan balik manusia memungkinkan peneliti AI untuk mendeteksi bentuk bias yang lebih halus yang mungkin tidak terdeteksi oleh metode otomatis. Ini memfasilitasi kesempatan untuk mengatasi bias melalui penyesuaian dalam algoritma, model dasar, atau teknik pra-pengolahan data.

Situasi dengan penalaran sosial pada dasarnya sama. AI sering bergelut dengan tugas yang memerlukan penalaran sosial karena, oleh sifatnya, AI bukanlah makhluk sosial, sedangkan manusia adalah. Mendeteksi konteks ketika pertanyaan diajukan, memahami sarkasme, atau mengenali sinyal emosi, memerlukan penalaran sosial yang manusiawi yang AI tidak bisa pelajari sendiri. Kami, sebagai manusia, belajar secara sosial, sehingga satu-satunya cara untuk mengajar sistem AI teknik penalaran ini adalah dengan menggunakan umpan balik manusia yang sebenarnya untuk melatih AI agar menafsirkan dan merespons berbagai sinyal sosial. Di Prolific, kami mengembangkan dataset penalaran sosial yang dirancang khusus untuk mengajar model AI keterampilan penting ini.

Pada intinya, umpan balik manusia tidak hanya membantu mengidentifikasi area di mana sistem AI unggul atau gagal, tetapi juga memungkinkan pengembang untuk membuat perbaikan dan penyempurnaan yang diperlukan pada algoritma. Contoh praktis dari ini dapat dilihat dalam cara ChatGPT beroperasi. Ketika Anda mengajukan pertanyaan, terkadang ChatGPT menyajikan dua jawaban dan meminta Anda untuk menilai mana yang terbaik. Pendekatan ini diambil karena model tersebut terus belajar, dan pengembang memahami pentingnya input manusia untuk menentukan jawaban terbaik, bukan hanya mengandalkan model lain.

Prolific telah menjadi instrumental dalam menghubungkan peneliti dengan partisipan untuk pelatihan AI dan penelitian. Bisakah Anda membagikan beberapa kisah sukses atau kemajuan signifikan dalam AI yang dimungkinkan melalui platform Anda?

Karena sifat komersial dari banyak pekerjaan AI kami, terutama di ruang non-akademis, sebagian besar proyek yang kami libatkan berada di bawah Perjanjian Non-Disclosure yang ketat. Ini pada dasarnya untuk memastikan kerahasiaan teknik atau metode, melindunginya dari direplikasi. Namun, satu proyek yang kami bebas untuk dibahas melibatkan kemitraan kami dengan Remesh, sebuah platform wawasan AI. Kami berkolaborasi dengan OpenAI dan Remesh untuk mengembangkan sistem yang menggunakan sampel representatif dari populasi AS. Dalam proyek ini, ribuan individu dari sampel representatif terlibat dalam diskusi tentang kebijakan terkait AI melalui sistem Remesh, memungkinkan pengembangan kebijakan AI yang mencerminkan kehendak publik yang luas, bukan hanya demografi tertentu, berkat kemampuan Prolific untuk menyediakan sampel yang begitu beragam.

Menghadap ke depan, apa visi Anda untuk masa depan pengembangan AI etis, dan bagaimana Prolific berencana untuk berkontribusi pada pencapaian visi ini?

Harapan saya untuk masa depan AI, dan pengembangannya, bergantung pada pengakuan bahwa AI hanya akan sebaik data yang dilatihnya. Pentingnya kualitas data tidak bisa dilebih-lebihkan untuk sistem AI. Melatih sistem AI pada data berkualitas rendah pasti menghasilkan sistem AI yang berkualitas rendah. Satu-satunya cara untuk memastikan data berkualitas tinggi adalah dengan memastikan perekrutan kelompok partisipan yang beragam dan termotivasi, yang ingin memberikan data terbaik yang mungkin. Di Prolific, pendekatan dan prinsip-prinsip kami bertujuan untuk memupuk hal ini. Dengan menciptakan kolam partisipan yang disesuaikan, diverifikasi, dan tepercaya, kami antisipasi bahwa peneliti akan menggunakan sumber daya ini untuk mengembangkan sistem AI yang lebih efektif, dapat diandalkan, dan tepercaya di masa depan.

Apa beberapa tantangan terbesar yang Anda hadapi dalam pengumpulan data pelatihan AI yang berkualitas tinggi dan didukung manusia, dan bagaimana Prolific mengatasi hambatan ini?

Tantangan terbesar, tanpa keraguan, adalah kualitas data. Tidak hanya data yang buruk tidak berguna—data yang buruk juga bisa mengarah pada hasil yang merugikan, terutama ketika sistem AI digunakan dalam area kritis seperti pasar keuangan atau operasi militer. Ini menekankan prinsip esensial “sampah masuk, sampah keluar.” Jika data input berkualitas rendah, sistem AI yang dihasilkan pasti berkualitas rendah atau tidak berguna. Sebagian besar sampel online cenderung menghasilkan data yang berkualitas lebih rendah daripada yang optimal untuk pengembangan AI. Ada banyak alasan untuk ini, tetapi salah satu faktor kunci yang Prolific atasi adalah perlakuan umum terhadap partisipan online. Seringkali, individu-individu ini dianggap sebagai komoditas yang dapat dibuang, menerima kompensasi rendah, perlakuan buruk, dan sedikit rasa hormat dari peneliti. Dengan berkomitmen pada perlakuan etis terhadap partisipan, Prolific telah mengembangkan kolam kontributor yang termotivasi, terlibat, teliti, jujur, dan perhatian. Oleh karena itu, ketika data dikumpulkan melalui Prolific, kualitasnya dipastikan, yang menjadi landasan model AI yang dapat diandalkan dan tepercaya.

Satunya lagi tantangan yang kami hadapi dengan data pelatihan AI adalah memastikan keberagaman dalam sampel. Sementara sampel online telah memperluas cakupan dan keragaman individu yang dapat kami lakukan penelitian, sampel ini seringkali terbatas pada orang-orang dari negara-negara Barat. Sampel ini seringkali condong ke arah demografi yang lebih muda, melek komputer, sangat berpendidikan, dan cenderung lebih condong ke kiri. Ini tidak sepenuhnya mewakili populasi global. Untuk mengatasi ini, Prolific memiliki partisipan dari lebih dari 38 negara di seluruh dunia. Kami juga menyediakan peneliti dengan alat untuk menentukan komposisi demografi sampel mereka sebelumnya. Selain itu, kami menawarkan sampel representatif melalui template pencocokan sensus seperti usia, jenis kelamin, dan etnis, atau bahkan afiliasi politik. Ini memastikan bahwa studi, tugas anotasi, atau proyek lainnya menerima berbagai partisipan dan, akibatnya, berbagai wawasan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Prolific.