Otwarty AI ChatGPT konkurował z studentami na egzaminach z rachunkowości

Otwarty AI niedawno uruchomił przełomowego czata AI, GPT-4, który wywołał falę w różnych dziedzinach. Z wynikiem na 90 percentylu na egzaminie prawniczym, zdając 13 na 15 egzaminów AP i uzyskując niemal perfekcyjny wynik na teście GRE Verbal, wynik GPT-4 był niczym niezwykłym.

Badacze z Brigham Young University (BYU) i 186 innych uczelni byli ciekawi, jak technologia OpenAI sprawdzi się na egzaminach z rachunkowości. Przetestowali oryginalną wersję, ChatGPT, i stwierdzili, że chociaż jest jeszcze miejsce na poprawę w dziedzinie rachunkowości, technologia ta jest przełomowa i wpłynie pozytywnie na sposób, w jaki edukacja jest prowadzona i odbierana.

Od swojego debiutu w listopadzie 2022 roku ChatGPT stał się najszybciej rozwijającą się platformą technologiczną, osiągając 100 milionów użytkowników w ciągu moins niż dwóch miesięcy. W świetle trwającej debaty na temat roli modeli AI, takich jak ChatGPT, w edukacji, główny autor studium, David Wood, profesor rachunkowości na BYU, postanowił zwerbować jak najwięcej profesorów, aby ocenić wyniki AI w porównaniu z wynikami studentów.

ChatGPT vs. studenci na egzaminach z rachunkowości

Badanie obejmowało 327 współautorów z 186 instytucji edukacyjnych z 14 krajów, którzy przyczynili się do 25 181 pytań z egzaminów z rachunkowości. Studenci z BYU dostarczyli również 2 268 pytań z banku testowego. Pytania obejmowały różne subdyscypliny rachunkowości, takie jak systemy informacji rachunkowej (AIS), audyt, rachunkowość finansowa, rachunkowość zarządcza i podatkowa. Różniły się one również pod względem trudności i rodzaju.

Chociaż wyniki ChatGPT były imponujące, studenci uzyskali lepsze wyniki, ze średnim wynikiem 76,7% w porównaniu z 47,4% ChatGPT. Na 11,3% pytań ChatGPT uzyskał lepszy wynik niż średni wynik studentów, szczególnie wyróżniając się w AIS i audycie. Jednak miał trudności z testami podatkowymi, finansowymi i zarządczymi, co mogło być spowodowane trudnościami z procesami matematycznymi.

ChatGPT uzyskał lepsze wyniki na pytaniach typu true/false (68,7% poprawnych) i pytaniach wielokrotnego wyboru (59,5%), ale miał trudności z pytaniami krótkimi (28,7% do 39,1%). Ogólnie miał trudności z pytaniami wyższego poziomu, czasem dostarczając autorytatywne opisy pisemne dla niepoprawnych odpowiedzi lub odpowiadając na to samo pytanie na różne sposoby.

Przyszłość ChatGPT w edukacji

Pomimo ograniczeń, badacze przewidują, że GPT-4 poprawi wyniki na pytaniach z rachunkowości i rozwiąże problemy, które odkryli. Najbardziej obiecującym aspektem jest potencjał czata, aby poprawić nauczanie i uczenie się, takie jak pomoc w projektowaniu i testowaniu zadań lub tworzeniu części projektu.

“To jest perturbacja, i musimy ocenić, skąd idziemy dalej,” powiedziała współautorka studium i profesor rachunkowości na BYU, Melissa Larson. “Oczywiście, nadal będę miał asystentów, ale to zmusi nas do korzystania z nich w różny sposób.”

Ponieważ AI będzie się dalej rozwijać, edukatorzy muszą się adaptować i znaleźć nowe sposoby, aby włączyć te technologie do swoich metod nauczania.