OpenAIs ChatGPT klarer universitetsregnskabsprøver

OpenAI har nylig lanceret sin banebrydende AI-chatbot, GPT-4, som har skabt bølger i forskellige fag. Med en score på 90. percentil på bar-examen, bestået 13 af 15 AP-eksamener og scoret næsten perfekt på GRE Verbal-testen, har GPT-4s præstation været intet mindre end ekstraordinær.

Forskere ved Brigham Young University (BYU) og 186 andre universiteter var nysgerrige efter at se, hvordan OpenAIs teknologi ville klare sig på regnskabsprøver. De testede den originale version, ChatGPT, og fandt, at selvom der stadig er plads til forbedring i regnskabsdomænet, er teknologien en spilvender, der vil have en positiv indvirkning på, hvordan uddannelse leveres og modtages.

Siden sin debut i november 2022 er ChatGPT blevet den hurtigst voksende teknologiplatform nogensinde, med 100 millioner brugere på under to måneder. I lyset af den pågående debat om AI-modellers rolle i uddannelse, besluttede hovedforfatteren til studiet, David Wood, en BYU-professor i regnskab, at rekruttere så mange professorer som muligt for at vurderere AI’s præstation i forhold til virkelige universitetsstuderende i regnskab.

ChatGPT vs. Studerende på Regnskabsprøver

Forskningen involverede 327 medforfattere fra 186 uddannelsesinstitutioner i 14 lande, som bidrog med 25.181 klasserumregnskabsprøvespørgsmål. BYU-studerende leverede også 2.268 lærebogsprøvespørgsmål. Spørgsmålene dækkede forskellige regnskabsunderfag, såsom regnskabsinformationssystemer (AIS), revision, finansielt regnskab, ledelsesregnskab og skat. De varierede også i sværhedsgrad og type.

Selvom ChatGPTs præstation var imponerende, klarede studerende sig bedre end AI’en, med en gennemsnitlig score på 76,7% i forhold til ChatGPTs 47,4%. På 11,3% af spørgsmålene scorede ChatGPT højere end studenterne i gennemsnit, især i AIS og revision. Men det havde svært ved skat-, finansielle og ledelsesvurderinger, muligvis på grund af svigt i matematiske processer.

ChatGPT klarede sig bedre på sandhed/falskhedsspørgsmål (68,7% korrekt) og flervalgsspørgsmål (59,5%), men havde svært ved at besvare korte spørgsmål (28,7% til 39,1%). Det havde generelt svært ved højere-ordenens spørgsmål, hvor det nogle gange gav autoritative skriftlige beskrivelser for forkerte svar eller besvarede det samme spørgsmål på forskellige måder.

ChatGPTs Fremtid i Uddannelse

Trods sine begrænsninger forventer forskerne, at GPT-4 vil forbedre sig på regnskabsprøver og løse de problemer, de fandt. Det mest lovende aspekt er chatbotens potentiale til at forbedre undervisning og læring, såsom at hjælpe med at designe og teste opgaver eller udarbejde dele af et projekt.

“Dette er en disruption, og vi skal vurdere, hvor vi skal gå fra her,” sagde studieforfatter og medforfatter, BYU-regnskabsprofessor Melissa Larson. “Selvfølgelig vil jeg stadig have TAs, men dette vil tvinge os til at bruge dem på andre måder.”

Som AI fortsætter med at udvikle sig, må uddannelsesinstitutioner tilpasse sig og finde nye måder at inkorporere disse teknologier i deres undervisningsmetoder på.