ChatGPT van OpenAI maakt universitaire accountancy-examens

OpenAI heeft onlangs zijn baanbrekende AI-chatbottechnologie GPT-4 geïntroduceerd, die in verschillende vakgebieden veel aandacht trekt. GPT-4 behaalde uitzonderlijke resultaten: het 90e percentiel bij het toelatingsexamen voor de advocatuur, voldoende scores voor 13 van de 15 AP-examens en een bijna perfecte score op de GRE Verbal-test.

Onderzoekers van Brigham Young University (BYU) en 186 andere universiteiten wilden weten hoe de technologie van OpenAI zou presteren bij examens in boekhouding en accountancy. Ze testten de oorspronkelijke versie van ChatGPT en stelden vast dat er op dit gebied nog ruimte voor verbetering is, maar dat de technologie de manier waarop onderwijs wordt gegeven en gevolgd ingrijpend ten goede kan veranderen.

Sinds de introductie in november 2022 werd ChatGPT het snelst groeiende technologieplatform ooit, met 100 miljoen gebruikers in minder dan twee maanden. Tegen de achtergrond van de discussie over de rol van AI-modellen zoals ChatGPT in het onderwijs besloot David Wood, hoogleraar accountancy aan BYU en hoofdauteur van het onderzoek , zoveel mogelijk docenten te betrekken om de prestaties van AI te vergelijken met die van echte universiteitsstudenten in de accountancy.

ChatGPT versus studenten bij accountancy-examens

Aan het onderzoek werkten 327 coauteurs mee, afkomstig van 186 onderwijsinstellingen in 14 landen. Zij leverden 25.181 examenvragen uit accountancylessen aan. Bachelorstudenten van BYU voegden nog eens 2268 vragen uit toetsbanken bij studieboeken toe. De vragen bestreken verschillende deelgebieden, zoals boekhoudkundige informatiesystemen (AIS), accountantscontrole, financiële verslaggeving, managementaccounting en belastingen. Ook de moeilijkheidsgraad en het vraagtype varieerden.

Hoewel ChatGPT indrukwekkend presteerde, deden de studenten het beter: hun gemiddelde score was 76,7%, tegenover 47,4% voor ChatGPT. Bij 11,3% van de vragen scoorde ChatGPT hoger dan het studentengemiddelde, vooral bij AIS en accountantscontrole. Het had echter moeite met vragen over belastingen, financiële verslaggeving en managementaccounting, mogelijk doordat het moeilijkheden ondervond met wiskundige bewerkingen.

ChatGPT presteerde beter bij juist/onjuist-vragen, met 68,7% correcte antwoorden, en meerkeuzevragen, met 59,5%. Vragen met korte open antwoorden waren lastiger: daarbij was 28,7% tot 39,1% correct. Over het algemeen had het moeite met vragen die hogere denkvaardigheden vereisten. Soms gaf het overtuigend geformuleerde uitleg bij onjuiste antwoorden of beantwoordde het dezelfde vraag op verschillende manieren.

De toekomst van ChatGPT in het onderwijs

Ondanks de beperkingen verwachten onderzoekers dat GPT-4 beter zal presteren bij accountancyvragen en de geconstateerde problemen zal aanpakken. Vooral het potentieel van de chatbot om het lesgeven en leren te verbeteren is veelbelovend, bijvoorbeeld door te helpen bij het ontwerpen en testen van opdrachten of het schrijven van conceptteksten voor onderdelen van een project.

«Dit is een ingrijpende verandering en we moeten beoordelen hoe we nu verdergaan», zei coauteur Melissa Larson, eveneens hoogleraar accountancy aan BYU. «Natuurlijk zal ik nog steeds onderwijsassistenten hebben, maar dit zal ons dwingen hun hulp op andere manieren in te zetten.»

Naarmate AI zich verder ontwikkelt, moeten docenten zich aanpassen en nieuwe manieren vinden om deze technologieën in hun onderwijsmethoden op te nemen.