ChatGPT od OpenAI rozwiązuje uniwersyteckie egzaminy z rachunkowości

OpenAI niedawno zaprezentowało swoją przełomową technologię czatbota AI, GPT-4, która wzbudziła zainteresowanie w wielu dziedzinach. Wyniki GPT-4 były niezwykłe: rezultat w 90. percentylu na egzaminie uprawniającym do wykonywania zawodu prawnika, zdanych 13 z 15 egzaminów AP oraz niemal maksymalny wynik w części językowej GRE.

Badacze z Brigham Young University (BYU) i 186 innych uczelni chcieli sprawdzić, jak technologia OpenAI poradzi sobie na egzaminach z rachunkowości. Przetestowali pierwotną wersję ChatGPT i stwierdzili, że choć w tej dziedzinie nadal wymaga ona udoskonalenia, może przełomowo zmienić nauczanie i uczenie się na lepsze.

Od premiery w listopadzie 2022 roku ChatGPT stał się najszybciej rozwijającą się platformą technologiczną, zdobywając 100 milionów użytkowników w mniej niż dwa miesiące. W obliczu trwającej debaty o roli modeli AI, takich jak ChatGPT, w edukacji główny autor badania David Wood, profesor rachunkowości na BYU, postanowił zaprosić do współpracy jak najwięcej wykładowców, aby porównać wyniki AI z wynikami rzeczywistych studentów rachunkowości.

ChatGPT kontra studenci na egzaminach z rachunkowości

W badaniu uczestniczyło 327 współautorów ze 186 instytucji edukacyjnych w 14 krajach, którzy dostarczyli 25 181 pytań z egzaminów z rachunkowości wykorzystywanych na zajęciach. Studenci studiów pierwszego stopnia BYU dostarczyli dodatkowo 2268 pytań z banków testów do podręczników. Pytania obejmowały różne dziedziny, takie jak systemy informacyjne rachunkowości (AIS), audyt, rachunkowość finansowa, rachunkowość zarządcza i podatki. Różniły się także poziomem trudności i typem.

Choć wyniki ChatGPT były imponujące, studenci poradzili sobie lepiej, uzyskując średnio 76,7% punktów wobec 47,4% ChatGPT. W przypadku 11,3% pytań ChatGPT przewyższył średni wynik studentów, szczególnie dobrze radząc sobie w AIS i audycie. Miał jednak trudności z zadaniami dotyczącymi podatków oraz rachunkowości finansowej i zarządczej, prawdopodobnie ze względu na problemy z obliczeniami matematycznymi.

ChatGPT lepiej odpowiadał na pytania typu prawda/fałsz — 68,7% poprawnych odpowiedzi — i pytania z wyborem odpowiedzi — 59,5%. Trudności sprawiały mu pytania wymagające krótkiej odpowiedzi, w których uzyskał od 28,7% do 39,1% poprawnych odpowiedzi. Ogólnie gorzej radził sobie z pytaniami wymagającymi myślenia wyższego rzędu, czasem przedstawiając przekonująco brzmiące wyjaśnienia błędnych odpowiedzi lub odpowiadając na to samo pytanie na różne sposoby.

Przyszłość ChatGPT w edukacji

Pomimo ograniczeń badacze spodziewają się, że GPT-4 lepiej poradzi sobie z pytaniami z rachunkowości i rozwiąże wykryte problemy. Najbardziej obiecujący jest potencjał czatbota do usprawnienia nauczania i uczenia się, na przykład przez pomoc w opracowywaniu i testowaniu zadań lub przygotowywaniu roboczych wersji części projektu.

«To zasadnicza zmiana i musimy ocenić, w jakim kierunku dalej podążać» — powiedziała współautorka badania i profesor rachunkowości na BYU Melissa Larson. «Oczywiście nadal będę miała asystentów dydaktycznych, ale zmusi nas to do korzystania z ich pomocy w inny sposób».

Wraz z dalszym rozwojem AI nauczyciele i wykładowcy muszą się dostosowywać i znajdować nowe sposoby włączania tych technologii do swoich metod nauczania.