OpenAI:n ChatGPT kohtaa yliopiston kirjanpito tentit

OpenAI on vastikään lanseerannut uraauurtavan AI-keskusteluohjelmansa, GPT-4:n, joka on saanut aikaan merkittäviä vaikutuksia monilla aloilla. 90. prosenttipaalun bar exam -tuloksella, 13:sta 15:stä AP-kokeesta läpi ja lähes täydellisellä GRE Verbal -testituloksella GPT-4:n suorituskyky on ollut mitäänsanomatonta.

Tutkijat Brigham Youngin yliopistosta (BYU) ja 186 muusta yliopistosta olivat uteliaita siitä, miten OpenAI:n teknologia suoriutuisi kirjanpito tentissä. He testasivat alkuperäistä versiota, ChatGPT:ä, ja totesivat, että vaikka kirjanpidon alalla on vielä parantamisen varaa, teknologia on pelinmuuttaja, joka vaikuttaa myönteisesti siihen, miten koulutusta annetaan ja vastaanotetaan.

ChatGPT on saavuttanut 100 miljoonan käyttäjän rajan vain kahdessa kuukaudessa sen julkaisun jälkeen marraskuussa 2022. Tutkimuksen johtaja, BYU:n kirjanpito professori David Wood, päätti rekrytoida mahdollisimman monta professoria arvioimaan AI:n suorituskykyä verrattuna oikeisiin yliopiston kirjanpito-opiskelijoihin.

ChatGPT vs. opiskelijat kirjanpito tentissä

Tutkimukseen osallistui 327 kirjoittajaa 186 koulutuslaitoksesta 14 maassa, jotka toimittivat 25 181 luokkakirjanpito tenttiin kysymystä. BYU:n undergraduates toimittivat myös 2 268 kirjanpito tekstipankin kysymystä. Kysymykset kattoivat eri kirjanpitoalan osa-alueita, kuten kirjanpitojärjestelmät (AIS), tilintarkastus, rahoituskirjanpito, johtamiskirjanpito ja verotus. Ne vaihtelivat myös vaikeusasteella ja tyypillä.

Vaikka ChatGPT:n suorituskyky oli vaikuttava, opiskelijat suorittivat paremmin, keskimääräisellä 76,7 prosentin tuloksella verrattuna ChatGPT:n 47,4 prosenttiin. 11,3 prosentilla kysymyksistä ChatGPT sai korkeamman tuloksen kuin opiskelijoiden keskiarvo, erityisesti menestyen AIS- ja tilintarkastusalueilla. Se kuitenkin kamppaili verotuksen, rahoituksen ja johtamiskirjanpidon arvioissa, mahdollisesti johtuen matemaattisten prosessien vaikeudesta.

ChatGPT suoriutui paremmin totuus/arvauskysymyksistä (68,7 prosenttisesti oikein) ja monivalintakysymyksistä (59,5 prosenttisesti), mutta kärsi vaikeuksista lyhyissä vastauskysymyksissä (28,7-39,1 prosenttisesti). Se yleensä kärsi korkeamman tason kysymyksistä, joissa se antoi virheellisiä vastauksia tai vastasi samaan kysymykseen eri tavoilla.

ChatGPT:n tulevaisuus koulutuksessa

Rajoituksistaan huolimatta tutkijat odottavat, että GPT-4 parantaa kirjanpitoon liittyvissä kysymyksissä ja korjaa havaitut ongelmat. Lupaavin näkökohta on chatbotin potentiaali parantaa opetusta ja oppimista, kuten auttaminen tehtävien suunnittelussa ja testaamisessa tai osittaisen projektin luonnostelussa.

“Tämä on disruptio, ja meidän on arvioitava, mihin suuntaan mennään”, sanoi tutkimuksen kirjoittaja ja BYU:n kirjanpito professori Melissa Larson. “Toki minulla on edelleen apulaisia, mutta tämä pakottaa meidät käyttämään heitä eri tavoilla.”

Kun AI jatkaa kehittymistään, kouluttajien on sopeuduttava ja löydettävä uusia tapoja sisällyttää nämä teknologiat opetustavoihinsa.