OpenAI’s ChatGPT zvládá univerzitní účetní zkoušky

OpenAI nedávno spustila své průlomové AI chatboty, GPT-4, které způsobily vlnu v různých oblastech. S výsledkem 90. percentilu na zkoušce z práva, prošly 13 z 15 AP zkoušek a téměř dokonale na GRE Verbal testu, výkon GPT-4 byl ničím menšího než výjimečný.

Vědci z Brigham Young University (BYU) a 186 dalších univerzit byli zvědaví, jak by se OpenAI’s technologie vyvíjela na účetních zkouškách. Otestovali původní verzi, ChatGPT, a zjistili, že zatímco je stále prostor pro zlepšení v oblasti účetnictví, technologie je game changer, který pozitivně ovlivní způsob, jakým je vzdělávání poskytováno a přijímáno.

Od svého debutu v listopadu 2022 se ChatGPT stal nejrychleji rostoucím technologickým platformem, dosáhl 100 milionů uživatelů za méně než dva měsíce. Vzhledem k probíhající debatě o roli AI modelů, jako je ChatGPT, ve vzdělávání, rozhodl se hlavní autor studie, David Wood, profesor účetnictví na BYU, získat co nejvíce profesorů, aby vyhodnotili výkon AI proti skutečným univerzitním studentům účetnictví.

ChatGPT vs. studenti na účetních zkouškách

Výzkum zahrnoval 327 spoluautorů z 186 vzdělávacích institucí ze 14 zemí, kteří přispěli 25 181 otázek z učebnic účetnictví. Studenti z BYU také poskytli 2 268 otázek z testovacích bank učebnic. Otázky pokrývaly různé účetní subobory, jako jsou účetní informační systémy (AIS), auditing, finanční účetnictví, manažerské účetnictví a daň. Lišily se také v obtížnosti a typu.

Although ChatGPT’s výkon byl působivý, studenti ho překonali, s průměrným výsledkem 76,7 % ve srovnání s 47,4 % ChatGPT. Na 11,3 % otázek ChatGPT získal vyšší skóre než průměrné skóre studentů, zejména v AIS a auditu. Nicméně, měl potíže s daňovými, finančními a manažerskými posouzeními, možná kvůli jeho obtížím s matematickými procesy.

ChatGPT vykázal lepší výkon na true/false otázkách (68,7 % správných) a multiple-choice otázkách (59,5 %), ale měl potíže se short-answer otázkami (28,7 % až 39,1 %). Obecně měl potíže s vyššími otázkami, někdy poskytoval autoritativní písemné popisy pro nesprávné odpovědi nebo odpovídal na stejnou otázku různými způsoby.

Budoucnost ChatGPT ve vzdělávání

Přes své omezení, výzkumníci předpokládají, že GPT-4 bude zlepšovat účetní otázky a řešit problémy, které objevili. Největší slib je v potenciálu chatbotu zlepšit výuku a učení, jako je pomoc při navrhování a testování úkolů nebo při vypracování částí projektu.

“Toto je narušení a musíme vyhodnotit, kam dál,” řekla spoluautorka studie a profesorka účetnictví na BYU Melissa Larson. “Samozřejmě, že stále budu mít asistenty, ale toto bude nutit používat je jiným způsobem.”

Jak AI pokračuje ve svém rozvoji, pedagogové musí přizpůsobit a najít nové způsoby, jak tyto technologie začlenit do svých výukových metod.