OpenAI’s ChatGPT neemt universitaire accountingexamens aan

OpenAI heeft onlangs zijn baanbrekende AI-chatbot GPT-4 gelanceerd, die golven maakt in verschillende vakgebieden. Met een score in de 90e percentiel op het bar-examen, 13 van de 15 AP-examens behaald en een bijna perfecte score op de GRE Verbal-test, is de prestatie van GPT-4 niets minder dan buitengewoon.

Onderzoekers van de Brigham Young University (BYU) en 186 andere universiteiten waren benieuwd hoe OpenAI’s technologie zou presteren op accountingexamens. Zij testten de oorspronkelijke versie, ChatGPT, en ontdekten dat er nog steeds ruimte voor verbetering is in het accountingdomein, maar dat de technologie een game-changer is die de manier waarop onderwijs wordt gegeven en ontvangen, positief zal beïnvloeden.

Sinds zijn debuut in november 2022 is ChatGPT het snelst groeiende technologieplatform ooit, met 100 miljoen gebruikers in minder dan twee maanden. In het licht van de aanhoudende discussie over de rol van AI-modellen zoals ChatGPT in het onderwijs, besloot de hoofdauteur van de studie, David Wood, een professor in de accounting aan de BYU, om zo veel mogelijk professoren te rekruteren om de prestaties van de AI te beoordelen tegenover echte universitaire accountingstudenten.

ChatGPT vs. Studenten op accountingexamens

Het onderzoek omvatte 327 co-auteurs van 186 onderwijsinstellingen in 14 landen, die 25.181 klasaccountingexamenvragen bijdroegen. BYU-undergraduates leverden ook 2.268 textbooktestbankvragen. De vragen dekten verschillende accountingsubgebieden, zoals accountinginformatiesystemen (AIS), auditing, financieel accounting, managementaccounting en belasting. Ze varieerden ook in moeilijkheidsgraad en type.

Hoewel de prestatie van ChatGPT indrukwekkend was, presteerden studenten beter dan de AI, met een gemiddelde score van 76,7% in vergelijking met 47,4% van ChatGPT. Op 11,3% van de vragen scoorde ChatGPT hoger dan het gemiddelde van de studenten, met name in AIS en auditing. Echter, het had moeite met belasting-, financiële en managementbeoordelingen, mogelijk vanwege zijn moeite met wiskundige processen.

ChatGPT presteerde beter op true/false-vragen (68,7% correct) en multiple-choice-vragen (59,5%) maar had moeite met short-answer-vragen (28,7% tot 39,1%). Het had over het algemeen moeite met hogere-ordevragen, soms autoritaire geschreven beschrijvingen voor incorrecte antwoorden of hetzelfde antwoord op verschillende manieren.

De toekomst van ChatGPT in het onderwijs

Ondanks zijn beperkingen, verwachten onderzoekers dat GPT-4 zal verbeteren op accountingvragen en de problemen die zij ontdekten, zal aanpakken. Het meest veelbelovende aspect is het potentieel van de chatbot om het onderwijs en leren te verbeteren, zoals helpen bij het ontwerpen en testen van opdrachten of het opstellen van delen van een project.

“Dit is een disruptie, en we moeten beoordelen waar we van hieruit gaan,” zei mede-auteur en collega-accountingprofessor van de BYU, Melissa Larson. “Natuurlijk zal ik nog steeds TAs hebben, maar dit zal ons dwingen om ze op andere manieren te gebruiken.”

Naarmate AI blijft evolueren, moeten onderwijsgevenden zich aanpassen en nieuwe manieren vinden om deze technologieën in hun onderwijsmethoden te integreren.