OpenAI’nin ChatGPT’si üniversite muhasebe sınavlarını çözüyor

OpenAI kısa süre önce, farklı alanlarda büyük yankı uyandıran çığır açıcı yapay zekâ sohbet botu teknolojisi GPT-4’ü kullanıma sundu. Baro sınavında 90. yüzdelik dilime ulaşan, 15 AP sınavından 13’ünü geçen ve GRE sözel testinde neredeyse tam puan alan GPT-4, olağanüstü bir performans sergiledi.

Brigham Young Üniversitesi (BYU) ve diğer 186 üniversiteden araştırmacılar, OpenAI teknolojisinin muhasebe sınavlarında nasıl performans göstereceğini merak etti. İlk sürüm olan ChatGPT’yi test ettiler ve muhasebe alanında hâlâ gelişmeye açık yönleri bulunmasına rağmen bu teknolojinin eğitimin sunulma ve alınma biçimini olumlu yönde değiştirecek bir dönüm noktası olduğu sonucuna vardılar.

Kasım 2022’de kullanıma sunulmasından bu yana ChatGPT, iki aydan kısa sürede 100 milyon kullanıcıya ulaşarak tarihin en hızlı büyüyen teknoloji platformu oldu. ChatGPT gibi yapay zekâ modellerinin eğitimdeki rolüne ilişkin süregelen tartışmalar ışığında, araştırmanın baş yazarı ve BYU muhasebe profesörü David Wood, yapay zekânın performansını üniversitelerdeki gerçek muhasebe öğrencileriyle karşılaştırmak için mümkün olduğunca çok öğretim üyesini araştırmaya katmaya karar verdi.

Muhasebe sınavlarında ChatGPT ve öğrencilerin karşılaştırılması

Araştırmaya 14 ülkedeki 186 eğitim kurumundan 327 ortak yazar katıldı ve derslerde kullanılan 25.181 muhasebe sınav sorusu sağladı. BYU lisans öğrencileri de ders kitaplarının soru bankalarından 2268 soru sundu. Sorular; muhasebe bilgi sistemleri (AIS), denetim, finansal muhasebe, yönetim muhasebesi ve vergi gibi farklı alt alanları kapsıyordu. Zorluk düzeyleri ve soru türleri de çeşitlilik gösteriyordu.

ChatGPT’nin performansı etkileyici olsa da öğrenciler, ortalama %76,7 puanla ChatGPT’nin %47,4’lük sonucunu geride bıraktı. ChatGPT, soruların %11,3’ünde öğrenci ortalamasından daha yüksek puan aldı; özellikle AIS ve denetimde başarılı oldu. Ancak vergi, finansal muhasebe ve yönetim muhasebesi sorularında zorlandı. Bunun nedeni matematiksel işlemlerde yaşadığı güçlükler olabilir.

ChatGPT, doğru/yanlış sorularında %68,7 ve çoktan seçmeli sorularda %59,5 doğru yanıt oranıyla daha iyi performans gösterdi. Kısa yanıt gerektiren sorularda ise doğru yanıt oranı %28,7 ile %39,1 arasında kaldı. Genel olarak üst düzey düşünme gerektiren sorularda zorlandı; bazen yanlış yanıtlar için ikna edici biçimde yazılmış açıklamalar sundu veya aynı soruya farklı yanıtlar verdi.

ChatGPT’nin eğitimdeki geleceği

Araştırmacılar, sınırlamalarına rağmen GPT-4’ün muhasebe sorularında daha iyi sonuçlar vereceğini ve tespit ettikleri sorunları gidereceğini öngörüyor. En umut verici yön, sohbet botunun öğretimi ve öğrenmeyi geliştirme potansiyeli. Örneğin ödevleri tasarlamaya ve test etmeye ya da bir projenin bazı bölümlerinin taslağını yazmaya yardımcı olabilir.

Araştırmanın ortak yazarlarından, BYU muhasebe profesörü Melissa Larson, «Bu köklü bir değişim ve buradan sonra nasıl ilerleyeceğimizi değerlendirmemiz gerekiyor» dedi. «Elbette öğretim asistanlarım olmaya devam edecek, ancak bu durum onların desteğinden farklı biçimlerde yararlanmamızı gerektirecek.»

Yapay zekâ geliştikçe eğitimciler de uyum sağlamalı ve bu teknolojileri öğretim yöntemlerine dâhil etmenin yeni yollarını bulmalı.