Nitin Madnani, Ilmuwan Peneliti Senior di ETS – Seri Wawancara

Nitin Madnani adalah Ilmuwan Peneliti Senior di grup penelitian Pengolahan Bahasa Alami (NLP) di Layanan Pengujian Pendidikan (ETS). ETS didirikan pada tahun 1947, dan merupakan organisasi nonprofit swasta terbesar di dunia yang bergerak di bidang pengujian dan penilaian pendidikan.

Apakah Anda bisa menjelaskan apa misi ETS?

Misi ETS adalah untuk meningkatkan kualitas dan kesetaraan dalam pendidikan untuk semua pembelajar di seluruh dunia. Misi ini menjadi landasan bagi produk, layanan, penelitian, dan upaya pengembangan kami dengan tujuan untuk mempromosikan pembelajaran, mendukung pendidikan, pengembangan profesional, dan mengukur pengetahuan dan keterampilan, untuk semua orang.

Kami percaya bahwa siapa pun, di mana pun dapat membuat perbedaan dalam hidup mereka melalui pembelajaran dan kerja ETS pada penelitian, penilaian, pengukuran, dan kebijakan dapat memainkan peran penting dalam membuat pembelajaran tersebut menjadi mungkin.

Apa yang membuat Anda begitu bersemangat tentang NLP?

Bahasa manusia sangat kompleks dan kacau. Bahasa tersebut memungkinkan kita untuk mengungkapkan berbagai emosi dalam ucapan dan tulisan kita, dan bahasa tersebut berkembang seiring waktu. Di sisi lain, komputer sangat deterministik dan klinis dalam memproses inputnya. Pengolahan Bahasa Alami (NLP) adalah bidang kecerdasan buatan yang mencoba membuat perangkat non-manusia ini memahami kompleksitas bahasa manusia dengan menggabungkan teknik dari Ilmu Komputer, Linguistik, dan Statistik. Bagaimana Anda tidak bisa menemukan ini menarik?

Ilmuwan NLP dan ucapan ETS baru-baru ini mengembangkan RSMTool. Apakah Anda bisa membagikan apa yang RSMTool lakukan?

Sebagaimana yang kita lihat dalam beberapa tahun terakhir, semua model pembelajaran mesin dapat menunjukkan perilaku bias tanpa memandang bidang di mana mereka diterapkan, pendidikan tidak terkecuali. Sistem penilaian otomatis yang digunakan untuk memberikan skor atau nilai kepada ucapan atau esai siswa dalam tes atau kelas sering menggunakan model pembelajaran mesin. Oleh karena itu, sangat mungkin bagi sistem tersebut untuk menunjukkan perilaku bias. Bias seperti itu dapat memiliki konsekuensi serius, terutama jika skor dari sistem tersebut digunakan untuk membuat keputusan yang berisiko tinggi.

RSMTool adalah alat sumber terbuka yang dikembangkan oleh rekan saya Anastassia Loukina (sebelumnya ditampilkan di Unite.AI) dan saya di ETS untuk membantu memastikan bahwa setiap bias sistematis dan merugikan dalam sistem penilaian otomatis dapat diidentifikasi secepat mungkin, idealnya sebelum sistem tersebut diterapkan di dunia nyata. RSMTool dirancang untuk memberikan evaluasi komprehensif dari mesin penilaian AI, termasuk tidak hanya metrik prediksi akurasi standar, tetapi juga metrik keadilan model, dan metrik berdasarkan teori tes, membantu pengembang mesin tersebut mengidentifikasi kemungkinan bias atau masalah lain dalam sistem mereka.

Dari mana nama RSMTool berasal?

Di bidang penilaian pendidikan, seseorang yang memberikan skor (atau “menilai”) esai sering disebut sebagai “penilai”. Ada penilai manusia dan penilai otomatis. RSMTool – singkatan dari Rater Scoring Modeling Tool – dirancang untuk membantu membangun (dan mengevaluasi) model penilaian yang digunakan oleh penilai otomatis.

Bagaimana alat ini dapat membantu pengembang mengidentifikasi kemungkinan bias atau masalah lain dalam mesin penilaian AI mereka?

Dalam lima dekade terakhir, ilmuwan pengukuran pendidikan – termasuk banyak rekan kami di ETS – telah melakukan penelitian berharga tentang apa yang membuat penilaian otomatis (dan manusia) adil. Sebagai bagian dari penelitian ini, mereka telah mengembangkan banyak analisis statistik dan psikometrik untuk menghitung indikator bias sistematis. Namun, karena komunitas psikometrik dan NLP jarang berinteraksi, ada sedikit kesempatan untuk pertukaran ide. Akibatnya, peneliti dan pengembang NLP yang membangun sistem penilaian otomatis – terutama peneliti individu dan mereka di perusahaan kecil – tidak memiliki akses mudah ke analisis psikometrik yang harus mereka gunakan untuk memeriksa sistem mereka untuk bias. RSMTool mencoba memecahkan masalah ini dengan menyediakan kumpulan analisis psikometrik yang besar dan beragam dalam satu paket Python yang mudah digunakan yang dapat dengan mudah diintegrasikan oleh peneliti NLP ke dalam pipa penelitian atau operasional mereka.