Andrew Gordon, Senior Research Consultant, Prolific – Interview Series

Andrew Gordon memanfaatkan latar belakangnya yang kuat di bidang psikologi dan neurosains untuk mengungkap wawasan sebagai peneliti. Dengan gelar BSc di Psikologi, MSc di Neuropsikologi, dan Ph.D. di Neurosains Kognitif, Andrew menggunakan prinsip-prinsip ilmiah untuk memahami motivasi konsumen, perilaku, dan pengambilan keputusan.

Prolific dibuat oleh peneliti untuk peneliti, dengan tujuan menawarkan metode yang unggul untuk mendapatkan data dan input manusia yang berkualitas tinggi untuk penelitian mutakhir. Saat ini, lebih dari 35.000 peneliti dari akademisi dan industri mengandalkan Prolific AI untuk mengumpulkan data dan umpan balik manusia yang definitif. Platform ini dikenal karena partisipannya yang handal, terlibat, dan diperlakukan secara adil, dengan studi baru diluncurkan setiap tiga menit.

Bagaimana Anda memanfaatkan latar belakang Anda di neurosains kognitif untuk membantu peneliti yang melakukan proyek yang melibatkan AI?

Titik awal yang baik adalah mendefinisikan apa itu neurosains kognitif sebenarnya. Pada dasarnya, neurosains kognitif menyelidiki landasan biologis dari proses kognitif. Ini menggabungkan prinsip-prinsip dari neurosains dan psikologi, dan terkadang ilmu komputer, yang membantu kita memahami bagaimana otak kita memungkinkan berbagai fungsi mental. Pada dasarnya, siapa pun yang melakukan penelitian neurosains kognitif perlu memiliki pemahaman yang kuat tentang metodologi penelitian dan pemahaman yang baik tentang bagaimana orang berpikir dan berperilaku. Dua aspek ini sangat penting dan dapat digabungkan untuk mengembangkan dan menjalankan penelitian AI yang berkualitas tinggi. Satu catatan, bagaimanapun, adalah bahwa penelitian AI adalah istilah yang luas; itu dapat melibatkan apa saja dari pelatihan model dasar dan anotasi data hingga memahami bagaimana orang berinteraksi dengan sistem AI. Menjalankan proyek penelitian dengan AI tidak berbeda dari menjalankan proyek penelitian di luar AI; Anda masih perlu memiliki pemahaman yang baik tentang metode, merancang studi untuk menciptakan data terbaik, mengambil sampel dengan benar untuk menghindari bias, dan kemudian menggunakan data tersebut dalam analisis yang efektif untuk menjawab pertanyaan penelitian yang Anda tangani.

Prolific menekankan perlakuan etis dan kompensasi yang adil untuk partisipannya. Bisakah Anda membagikan wawasan tentang tantangan dan solusi dalam mempertahankan standar ini?

Model kompensasi kami dirancang untuk memastikan bahwa partisipan dihargai dan diberi imbalan, sehingga mereka merasa seperti mereka memainkan peran penting dalam mesin penelitian (karena mereka memang melakukannya). Kami percaya bahwa memperlakukan partisipan dengan adil dan memberikan mereka tingkat pembayaran yang adil, memotivasi mereka untuk lebih dalam terlibat dengan penelitian dan akhirnya memberikan data yang lebih baik.

Sayangnya, sebagian besar platform sampling online tidak menerapkan prinsip-prinsip pembayaran etis dan perlakuan. Hasilnya adalah kolam partisipan yang termotivasi untuk tidak terlibat dengan penelitian, tetapi untuk melewatinya dengan cepat untuk memaksimalkan potensi penghasilan mereka, yang mengarah pada data yang berkualitas rendah. Mempertahankan sikap yang kami ambil di Prolific adalah tantangan; kami pada dasarnya melawan arus. Status quo dalam penelitian AI dan bentuk penelitian online lainnya belum fokus pada perlakuan partisipan atau kesejahteraan, tetapi lebih pada memaksimalkan jumlah data yang dapat dikumpulkan dengan biaya terendah.

Membuat komunitas penelitian yang lebih luas memahami mengapa kami telah mengambil pendekatan ini dan nilai yang mereka lihat dengan menggunakan kami, bukan platform yang bersaing, menyajikan tantangan yang cukup besar. Tantangan lain, dari sudut pandang logistik, melibatkan menghabiskan waktu yang cukup untuk menanggapi kekhawatiran, pertanyaan, atau keluhan dari partisipan atau peneliti kami dalam waktu yang cepat dan adil. Kami menghabiskan banyak waktu untuk ini karena ini menjaga pengguna di kedua sisi – partisipan dan peneliti – bahagia, mendorong mereka untuk terus kembali ke Prolific. Namun, kami juga sangat mengandalkan peneliti yang menggunakan platform kami untuk mematuhi standar perlakuan dan kompensasi yang tinggi sekali partisipan diambil ke tugas atau survei peneliti dan meninggalkan ekosistem Prolific. Apa yang terjadi di luar platform kami benar-benar berada di bawah kendali tim penelitian, sehingga kami bergantung tidak hanya pada partisipan yang memberitahu kami jika ada yang salah, tetapi juga pada peneliti kami untuk mempertahankan standar tertinggi yang mungkin. Kami mencoba menyediakan sebanyak mungkin panduan untuk memastikan bahwa ini terjadi.

Mempertimbangkan model bisnis Prolific, apa yang Anda pikir tentang peran penting umpan balik manusia dalam pengembangan AI, terutama dalam area seperti deteksi bias dan perbaikan penalaran sosial?

Umpan balik manusia dalam pengembangan AI sangat penting. Tanpa keterlibatan manusia, kita berisiko memperkuat bias, mengabaikan nuansa interaksi sosial manusia, dan gagal mengatasi beberapa pertimbangan etika negatif yang terkait dengan AI. Ini bisa menghambat kemajuan kita dalam menciptakan sistem AI yang bertanggung jawab, efektif, dan etis. Dalam hal deteksi bias, mengintegrasikan umpan balik manusia selama proses pengembangan sangat penting karena kita harus mengembangkan AI yang mencerminkan berbagai pandangan dan nilai sebanyak mungkin, tanpa memihak satu atas yang lain. Berbagai demografi, latar belakang, dan budaya semua memiliki bias tidak sadar yang, meskipun tidak selalu negatif, mungkin masih mencerminkan pandangan yang tidak secara luas diterima. Penelitian kolaboratif antara Prolific dan Universitas Michigan menyoroti bagaimana latar belakang annotator yang berbeda dapat secara signifikan mempengaruhi bagaimana mereka menilai aspek seperti toksisitas ucapan atau kesopanan. Untuk mengatasi ini, melibatkan partisipan dari berbagai latar belakang, budaya, dan perspektif dapat mencegah bias-bias ini menjadi melekat dalam sistem AI yang sedang dikembangkan. Selain itu, umpan balik manusia memungkinkan peneliti AI untuk mendeteksi bentuk bias yang lebih halus yang mungkin tidak dapat ditemukan oleh metode otomatis. Ini memfasilitasi kesempatan untuk mengatasi bias-bias melalui penyesuaian dalam algoritma, model dasar, atau teknik praproses data.

Situasi dengan penalaran sosial pada dasarnya sama. AI sering bergelut dengan tugas yang memerlukan penalaran sosial karena, oleh sifatnya, AI bukanlah makhluk sosial, sedangkan manusia adalah. Mendeteksi konteks ketika pertanyaan diajukan, memahami sarkasme, atau mengenali petunjuk emosional, memerlukan penalaran sosial yang manusia seperti yang tidak dapat dipelajari oleh AI sendiri. Kami, sebagai manusia, belajar secara sosial, sehingga satu-satunya cara untuk mengajar sistem AI teknik penalaran ini adalah dengan menggunakan umpan balik manusia yang sebenarnya untuk melatih AI agar menafsirkan dan merespons berbagai petunjuk sosial. Di Prolific, kami mengembangkan dataset penalaran sosial yang dirancang khusus untuk mengajar AI model keterampilan penting ini.

Pada intinya, umpan balik manusia tidak hanya membantu mengidentifikasi area di mana sistem AI unggul atau gagal, tetapi juga memungkinkan pengembang untuk membuat perbaikan dan penyempurnaan yang diperlukan pada algoritma. Contoh praktis dari ini dapat dilihat dalam cara ChatGPT beroperasi. Ketika Anda mengajukan pertanyaan, terkadang ChatGPT menyajikan dua jawaban dan meminta Anda untuk menilai mana yang terbaik. Pendekatan ini diambil karena model tersebut terus belajar, dan pengembang memahami pentingnya input manusia untuk menentukan jawaban terbaik, bukan hanya mengandalkan model lain.

Prolific telah menjadi instrumental dalam menghubungkan peneliti dengan partisipan untuk pelatihan AI dan penelitian. Bisakah Anda membagikan beberapa kisah sukses atau kemajuan signifikan dalam AI yang dimungkinkan melalui platform Anda?

Karena sifat komersial dari banyak pekerjaan AI kami, terutama di ruang non-akademis, sebagian besar proyek yang kami libatkan berada di bawah Perjanjian Non-Pengungkapan yang ketat. Ini terutama untuk memastikan kerahasiaan teknik atau metode, melindunginya dari being replicated. Namun, satu proyek yang kami bebas untuk dibahas melibatkan kemitraan kami dengan Remesh, sebuah platform wawasan AI. Kami berkolaborasi dengan OpenAI dan Remesh untuk mengembangkan sistem yang menggunakan sampel representatif dari populasi AS. Dalam proyek ini, ribuan individu dari sampel representatif terlibat dalam diskusi tentang kebijakan terkait AI melalui sistem Remesh, memungkinkan pengembangan kebijakan AI yang mencerminkan kehendak umum publik, bukan hanya demografi tertentu, berkat kemampuan Prolific untuk menyediakan sampel yang begitu beragam.

Memandang ke depan, apa visi Anda untuk masa depan pengembangan AI etis, dan bagaimana Prolific berencana untuk berkontribusi pada pencapaian visi ini?

Harapan saya untuk masa depan AI, dan pengembangannya, bergantung pada pengakuan bahwa AI hanya akan sebaik data yang dilatihnya. Pentingnya kualitas data tidak dapat dilebih-lebihkan untuk sistem AI. Melatih sistem AI pada data yang berkualitas rendah pasti akan menghasilkan sistem AI yang berkualitas rendah. Satu-satunya cara untuk memastikan kualitas data yang tinggi adalah dengan memastikan perekrutan kelompok partisipan yang beragam dan termotivasi, yang ingin memberikan data terbaik yang mungkin. Di Prolific, pendekatan dan prinsip-prinsip kami bertujuan untuk mendorong hal ini. Dengan menciptakan kolam partisipan yang disesuaikan, diverifikasi secara menyeluruh, dan dapat dipercaya, kami antisipasi bahwa peneliti akan menggunakan sumber daya ini untuk mengembangkan sistem AI yang lebih efektif, andal, dan dapat dipercaya di masa depan.

Apa yang menjadi tantangan terbesar yang Anda hadapi dalam pengumpulan data pelatihan AI yang berkualitas tinggi dan didukung manusia, dan bagaimana Prolific mengatasi hambatan ini?

Tantangan terbesar, tanpa keraguan, adalah kualitas data. Tidak hanya data yang buruk tidak berguna – itu sebenarnya dapat menyebabkan hasil yang merugikan, terutama ketika sistem AI digunakan dalam area kritis seperti pasar keuangan atau operasi militer. Ini menekankan prinsip esensial “sampah masuk, sampah keluar.” Jika data input berkualitas rendah, maka sistem AI yang dihasilkan pasti akan berkualitas rendah atau tidak berguna. Sebagian besar sampel online cenderung menghasilkan data yang berkualitas lebih rendah daripada yang optimal untuk pengembangan AI. Ada beberapa alasan untuk ini, tetapi salah satu faktor kunci yang Prolific tangani adalah perlakuan umum partisipan online. Seringkali, individu-individu ini dianggap sebagai orang yang dapat digantikan, menerima kompensasi rendah, perlakuan buruk, dan sedikit rasa hormat dari peneliti. Dengan berkomitmen pada perlakuan etis partisipan, Prolific telah membudidayakan kolam partisipan yang termotivasi, terlibat, teliti, jujur, dan perhatian. Oleh karena itu, ketika data dikumpulkan melalui Prolific, kualitasnya yang tinggi dipastikan, yang menjadi landasan bagi model AI yang andal dan dapat dipercaya.

Tantangan lain yang kami hadapi dengan data pelatihan AI adalah memastikan keberagaman dalam sampel. Sementara sampel online telah secara signifikan memperluas cakupan dan keragaman individu yang dapat kami lakukan penelitian, mereka pada umumnya terbatas pada orang-orang dari negara-negara Barat. Sampel ini seringkali cenderung menuju demografi yang lebih muda, melek komputer, berpendidikan tinggi, dan lebih condong ke kiri. Ini tidak sepenuhnya mewakili populasi global. Untuk mengatasi ini, Prolific memiliki partisipan dari lebih dari 38 negara di seluruh dunia. Kami juga menyediakan peneliti kami dengan alat untuk menentukan komposisi demografi sampel mereka sebelumnya. Selain itu, kami menawarkan sampling representatif melalui template pencocokan sensus seperti usia, jenis kelamin, dan etnis, atau bahkan oleh afiliasi politik. Ini memastikan bahwa studi, tugas anotasi, atau proyek lainnya menerima berbagai macam partisipan dan, oleh karena itu, berbagai wawasan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Prolific.