Yapay Zeka Araştırmacıların Hangi Makalelerin Tekrarlanabileceğini Belirlemelerine Yardımcı Olabilir, Tekrarlanabilirlik Kriziyle Mücadele Ediyor

Son yıllarda, akademisyenler ve araştırmacılar tarafından “tekrarlanabilirlik krizi” olarak adlandırılan bir sorun giderek daha fazla dikkat çekiyor. Birçok çalışma, çalışmanın tekrarlanması durumunda aynı önemli sonuçları vermiyor ve bu nedenle bilimsel topluluk, bulguların thường överleştirildiğinden endişe ediyor. Bu sorun, psikoloji ve yapay zeka gibi çeşitli alanları etkiliyor. Yapay zeka alanında, birçok hakemli olmayan makale, diğer araştırmacıların tekrarlayamadığı iddialı sonuçlar iddia ediyor. Bu sorunu ele almak ve tekrarlanamayan çalışmaların sayısını azaltmak için araştırmacılar, hangi makalelerin tekrarlanabileceğini belirlemeyi amaçlayan bir yapay zeka modeli tasarladılar.

Fortune’un haberine göre, Kellog School of Management ve Northwestern Üniversitesi’ndeki Institute of Complex Systems’tan bir araştırma ekibi tarafından yayınlanan yeni bir makale, tekrarlanabilir ve tekrarlanamayan çalışmalar arasında đáng kể bir şekilde ayırt edebilecek bir derin öğrenme modeli sunuyor. Eğer yapay zeka sistemi, tekrarlanabilir ve tekrarlanamayan çalışmalar arasında güvenilir bir şekilde ayrım yapabilirse, üniversiteler, araştırma enstitüleri, şirketler ve diğer kurumlar, hangi makalelerin en полез ve güvenilir olduğuna karar vermek için binlerce araştırma makalesini süzgeçten geçirebilir.

Northwestern ekibi tarafından geliştirilen yapay zeka sistemi, araştırmacıların genellikle bir çalışmanın geçerliliğini belirlemek için kullandıkları ampirik/istatistiksel kanıtları kullanmıyor. Model, doğal dil işleme tekniklerini kullanarak bir makalenin güvenilirliğini量ify etmeye çalışıyor. Sistem, bir makalenin yazarları tarafından kullanılan dildeki kalıpları çıkarıyor ve bazı kelime kalıplarının diğerlerinden daha güvenilir olduğunu buluyor.

Araştırma ekibi, 1960’lardan beri var olan psikolojik araştırmalardan esinlendi. Bu araştırmalar, insanların genellikle fikirlerine olan güven seviyelerini kullandıkları kelimelerle ilettiğini buldu. Bu fikirden yola çıkarak, araştırmacılar, makale yazarlarının bilinçsizce çalışmalarının güvenilirliğini yazarken işaret edebileceğini düşündü. Araştırmacılar, iki tur eğitim yaptı, farklı veri kümelerini kullandı. İlk olarak, model yaklaşık iki milyon bilimsel makale özeti üzerinde eğitildi, ikinci turda ise model, bir psikoloji makalesi tekrarlanabilirlik projesi olan Reproducibility Project: Psychology’den tam makaleler üzerinde eğitildi.

Test ettikten sonra, araştırmacılar modeli, psikoloji ve ekonomi gibi çeşitli alanlardan yüzlerce makalelik bir koleksiyona uyguladı. Araştırmacılar, modelin, bir makalenin tekrarlanabilirliğine ilişkin daha güvenilir bir tahmin sağladığını buldu, bu da genellikle bir makalenin sonuçlarının tekrarlanabilir olup olmadığını belirlemek için kullanılan istatistiksel tekniklerden daha iyiydi.

Kellog School of Management Profesörü ve araştırmacı Brian Uzzi, Fortune’a, yapay zeka modelinin bir gün araştırmacıların sonuçların ne kadar tekrar edilebilir olduğunu belirlemelerine yardımcı olabileceğini umduğunu, ancak araştırma ekibinin modelin öğrendiği kalıpları ve ayrıntıları bilmediğini söyledi. Makine öğrenimi modellerinin genellikle kara kutular olması, yapay zeka araştırmalarında ortak bir sorundur, ancak bu, diğer bilim insanlarının modeli kullanmak istememesine neden olabilir.

Uzzi, araştırma ekibinin modeli, bilim insanlarının virüsü daha hızlı anlamalarına ve hangi çalışma sonuçlarının vaat edildiğine karar vermelerine yardımcı olmak için koronavirüs krizini ele almaya yardımcı olabileceğini umduğunu açıkladı. Uzzi, Fortune’a şunları söyledi:

“Bu sorunu ele almak istiyoruz – şu anda birçok şey gevşedi ve önceden yapılan güçlü bir çalışmaya dayanmamız gerekiyor. Hangi önceki çalışmaların tekrarlanabileceğini veya tekrarlanamayacağını bilmiyoruz ve tekrarları beklemeye zamanımız yok.”

Uzzi ve diğer araştırmacılar, modeli geliştirmek için daha fazla doğal dil işleme tekniklerini kullanmayı, özellikle de araştırma ekibinin kurumsal kazançlar hakkında çağrı kayıtlarını analiz etmek için oluşturduğu teknikleri kullanmayı umuyor. Araştırma ekibi, already yaklaşık 30.000 çağrı kaydından oluşan bir veritabanı oluşturdu ve ipuçları için analiz edecek. Eğer ekip başarılı bir model oluşturabilirse, analistleri ve yatırımcıları aracın kullanmasını ikna edebilecekler ve bu, modelin ve tekniklerinin diğer yenilikçi kullanım yolları için yolu açabilir.