OpenAI’s ChatGPT zvládá univerzitní účetní zkoušky

OpenAI nedávno spustila svou průlomovou AI chatbot, GPT-4, který způsobuje vlny v různých oborech. S výsledkem 90. percentilu na právnických zkouškách, prošel 13 z 15 AP zkoušek a získal téměř perfektní výsledek na GRE Verbal testu, výkon GPT-4 byl ničím kratším než výjimečným.

Výzkumníci na Brigham Young University (BYU) a 186 dalších univerzitách byli zvědaví, jak by technologie OpenAI fungovala na účetních zkouškách. Otestovali původní verzi, ChatGPT, a zjistili, že zatímco je stále prostor pro zlepšení v oblasti účetnictví, technologie je změnou hry, která bude mít pozitivní dopad na způsob, jakým je vzdělávání poskytováno a přijímáno.

Od svého debutu v listopadu 2022 se ChatGPT stal nejrychleji rostoucí technologickou platformou, dosáhl 100 milionů uživatelů za méně než dva měsíce. Vzhledem k probíhající debatě o roli AI modelů, jako je ChatGPT, ve vzdělávání, rozhodl se hlavní autor studie, David Wood, profesor účetnictví na BYU, přizvat co nejvíce profesorů, aby hodnotili výkon AI v porovnání se skutečnými univerzitními studenty účetnictví.

ChatGPT vs. studenti na účetních zkouškách

Výzkum zahrnoval 327 spoluautorů z 186 vzdělávacích institucí ze 14 zemí, kteří přispěli 25 181 třídě účetních zkoušek. Studenti BYU také poskytli 2 268 testových otázek z učebnic. Otázky pokrývaly různé účetní subobory, jako jsou účetní informační systémy (AIS), auditing, finanční účetnictví, manažerské účetnictví a daň. Lišily se také v obtížnosti a typu.

Ačkoli výkon ChatGPT byl působivý, studenti předčili AI, s průměrným výsledkem 76,7 % ve srovnání s 47,4 % u ChatGPT. Na 11,3 % otázek ChatGPT dosáhl vyššího výsledku než průměrný výsledek studentů, zejména vynikl v AIS a auditu. Nicméně, měl potíže s daňovými, finančními a manažerskými posouzeními, možná kvůli jeho obtížím s matematickými procesy.

ChatGPT fungoval lépe na pravdivé/nepravdivé otázky (68,7 % správně) a multiple-choice otázky (59,5 %), ale měl potíže se zkrácenými odpověďmi (28,7 % až 39,1 %). Obecně měl potíže s vyššími otázkami, někdy poskytoval autoritativní psané popisy pro nesprávné odpovědi nebo odpovídal na stejnou otázku různými způsoby.

Budoucnost ChatGPT ve vzdělávání

Přes své omezení výzkumníci předpokládají, že GPT-4 bude zlepšovat účetní otázky a řešit problémy, které objevili. Nejvíce slibným aspektem je potenciál chatbota zlepšit výuku a učení, jako je pomoc při navrhování a testování úkolů nebo vypracování částí projektu.

“Toto je narušení a musíme vyhodnotit, kam dále,” řekl spoluautor studie a fellow BYU účetní profesor Melissa Larson. “Samozřejmě, že stále budu mít asistenty, ale toto bude nutit používat je jiným způsobem.”

Jak AI pokračuje ve vývoji, pedagogové musí přizpůsobit a najít nové způsoby, jak tyto technologie začlenit do svých výukových metod.