Nitin Madnani, ETS’de Senior Research Scientist – Röportaj Serisi

Nitin Madnani, Educational Testing Service (ETS) bünyesindeki Doğal Dil İşleme (NLP) araştırma grubunda Senior Research Scientist olarak görev yapmaktadır. ETS, 1947 yılında kurulmuş ve dünyanın en büyük özel olmayan eğitim testi ve değerlendirme organizasyonudur.

ETS’in misyonunu açıklamaya başlayabilir misiniz?

ETS’in misyonu, tüm öğrenenler için eğitimde kalite ve eşitliği ilerletmektir. Bu misyon, ürünlerimize, hizmetlerimize, araştırmalarımıza ve geliştirme çabalarımıza temel oluşturur ve öğrenmeyi teşvik etmek, eğitimi desteklemek, mesleki gelişim sağlamak ve bilgi ve becerileri ölçmek amacıyla tüm learners için çalışır.

Herkesin, her yerde öğrenme yoluyla hayatında fark yaratabileceğine inaniyoruz ve ETS’in araştırma, değerlendirme, ölçme ve politika çalışmaları, bu öğrenmeyi mümkün kılmada önemli bir rol oynayabilir.

NLP’ye karşı tutkunuzu neler oluşturuyor?

Tüm insan dilleri, güzel ve karmaşıktır. Konuşma ve yazma yoluyla duygularımızı ifade ederler ve zamanla evrilirler. Öte yandan, bir bilgisayar, girdilerini işlerken determinist ve kliniktir. Doğal Dil İşleme (NLP), bilgisayar biliminden, dilbilimden ve istatistikten teknikleri birleştirerek, bu güzel karmaşıklıkları anlamaya çalışan bir yapay zeka alanıdır. Bunu nasıl ilginç bulmayasınız?

ETS NLP ve konuşma bilimcileri最近 RSMTool’u geliştirdiler. RSMTool’un ne yaptığını bizimle paylaşabilir misiniz?

Son birkaç yılda, tüm makine öğrenimi modellerinin, uygulandıkları alana bakılmaksızın, önyargılı davranış sergileyebileceği görüldü. Eğitim de dahil olmak üzere. Otomatik puanlama sistemleri, öğrencilerin konuşma veya yazılarını testlerde veya sınıflarda puanlamak veya notlamak için makine öğrenimi modellerini kullanır. Bu nedenle, bu sistemlerin önyargılı davranması mümkündür. Bu önyargı, özellikle bu sistemlerin puanlarının yüksek riskli kararlar almak için kullanıldığı durumlarda ciddi sonuçlar doğurabilir.

RSMTool, ETS’de benim ve Anastassia Loukina tarafından geliştirilen, otomatik puanlama sistemlerindeki sistematik, zararlı önyargıları mümkün olduğunca erken tespit etmeye yardımcı olmak için tasarlanmış bir açık kaynak aracıdır. RSMTool, AI puanlama motorlarının kapsamlı bir değerlendirmesini sağlar ve sadece standart tahmin doğruluğu ölçütlerini değil, aynı zamanda model adaleti ve test teorisi temelindeki ölçütlere de odaklanır ve geliştiricilerin sistemlerindeki olası önyargıları veya diğer sorunları belirlemelerine yardımcı olur.

RSMTool isminin nereden geldiğini öğrenebilir miyiz?

Eğitim değerlendirme alanında, bir kompozisyonu puanlayan (veya “değerlendiren”) kişi genellikle bir “değerlendirici” olarak adlandırılır. İnsan değerlendiricileri ve otomatik değerlendiricileri vardır. RSMTool – Rater Scoring Modeling Tool kısaltması – otomatik değerlendiriciler tarafından kullanılan puanlama modellerini oluşturmak ve değerlendirmek için tasarlanmıştır.

RSMTool, geliştiricilerin AI puanlama motorlarındaki olası önyargı veya diğer sorunları nasıl tespit edebilir?

Son beş decade içinde, eğitim ölçüm bilimcileri – ETS’deki birçok meslektaşımız dahil – otomatik puanlamada adalet üzerine değerli araştırmalar yaptı. Bu araştırmalar kapsamında, sistematik önyargı göstergeleri olarak kullanılan birçok istatistiksel ve psikometrik analiz geliştirdiler. Ancak, psikometrik ve NLP toplulukları nadiren etkileşime girer, bu nedenle fikirlerin birbirine aktarılması için az fırsat vardır. Sonuç olarak, NLP araştırmacıları ve geliştiricileri, özellikle bireysel araştırmacılar ve küçük şirketlerdekiler, sistemlerini önyargı için kontrol etmek için kullanmaları gereken psikometrik analizlere kolayca erişemezler. RSMTool, bu sorunu, NLP araştırmacılarının araştırma veya operasyonel işlem hattına kolayca entegre edebileceği, tek bir, kolayca kullanılabilen Python paketi olarak büyük, çeşitli bir psikometrik analiz seti sunarak çözmeye çalışır.

ETS, RSMTool’u açık kaynak olarak neden yayınladı?

Evet, RSMTool, Apache 2.0 lisansı ile GitHub‘da mevcuttur. Bizim için böyle bir aracın açık kaynak ve özel olmayan olması önemlidir, böylece topluluk, (a) mevcut analizlerin adalet standartlarına uygunluğunu denetlemek için kaynak kodunu inceleyebilir ve (b) standartlar değiştikçe ve geliştikçe yeni analizler katkıda bulunabilir. Ayrıca, NLP araştırmacıları ve geliştiricilerin RSMTool’u çalışmalarında kullanmasını ve onu daha da iyileştirmemize yardımcı olmasını istiyoruz. RSMTool’u açık kaynak olarak yayınlamak, ETS’in eğitimde AI’nin sorumlu kullanımına devam eden taahhüdünün açık bir örneğidir.

RSMTool’u geliştirirken ve bakımını yaparken öğrendiğiniz bazı dersler var mı?

Anastassia ve ben, ETS’deki birçok meslektaşımız ve ETS dışı GitHub katkıda bulunanlarının yardımıyla, RSMTool’u geliştirdiğimiz ve bakımını yaptığımız son beş yıl içinde, iki temel ders öğrendik. Birincisi, farklı kullanıcıların farklı ihtiyaçları vardır ve tek boyutlu bir yaklaşım RSMTool gibi disiplinler arası bir yazılımda işe yaramaz. İkincisi, açık kaynaklı bir yazılımda benimsemeyi artırmak için gerçekten çok çalışmak ve onu mümkün olduğunca güçlü hale getirmek gerekir.

ETS, RSMTool’u yayınlamakla neyi başarmak istiyor?

Eğitim sektörü, son yıllarda NLP’nin en önemli uygulamalarından biri olan metin ve konuşmanın otomatik puanlamasıyla birlikte AI’nin önemli bir genişlemesini gördü. ETS, uzun süredir otomatik puanlama alanında liderlik etmektedir ve AI’nin eğitimde sorumlu kullanımına bağlılığını sürdürmektedir. RSMTool’u yayınlamakla, ETS, NLP bilimcileri ve psikometrikçilerin birlikte çalışabileceği bir örnek olarak hizmet vermeyi ve AI araştırmacılarının, otomatik puanlama sistemlerinin “performansını” düşündüklerinde, yalnızca standart tahmin doğruluğu ölçütlere değil, aynı zamanda model adaleti ölçütlere de dikkat etmelerini istemektedir.

RSMTool hakkında paylaşmak istediğiniz başka bir şey var mı?

RSMTool’u geliştirmemize yardımcı olmak için okuyucuları teşvik ediyoruz! Psikometrikçi veya NLP uzmanı olmanız gerekmez. Belgeleme ve Python programlama ile ilgili birçok açık vấnımız vardır ve bu, herhangi bir ara veya ileri seviye Python programcısı için idealdir. Ayrıca, RSMTool tarafından kullanılan diğer bir ETS açık kaynak paketi olan SKLL (Scikit-Learn Laboratory) – kullanıcı yapılandırılmış, toplu makine öğrenimi deneylerini verimli bir şekilde çalıştırmak için tasarlanmış bir paket – için katkıda bulunmaya davet ediyoruz.