오픈AI의 ChatGPT, 대학 회계 시험에 도전하다

OpenAI는 최근 여러 분야에서 주목받는 혁신적인 AI 챗봇 기술 GPT-4를 공개했습니다. GPT-4는 변호사 시험에서 90백분위에 해당하는 성적을 거두고, AP 시험 15개 중 13개에 합격했으며, GRE 언어 시험에서도 거의 만점을 받는 등 뛰어난 성과를 보였습니다.

브리검영대학교(BYU)와 다른 186개 대학의 연구자들은 OpenAI의 기술이 회계 시험에서는 어떤 성적을 낼지 궁금했습니다. 초기 버전인 ChatGPT를 시험한 결과, 회계 분야에서는 여전히 개선할 부분이 있지만 교육을 제공하고 배우는 방식을 긍정적으로 바꿀 수 있는 획기적인 기술이라는 사실을 확인했습니다.

2022년 11월 공개된 ChatGPT는 두 달도 안 돼 사용자 1억 명을 확보하며 역대 가장 빠르게 성장한 기술 플랫폼이 되었습니다. 교육에서 ChatGPT 같은 AI 모델이 맡을 역할을 둘러싼 논의가 이어지는 가운데, 이연구의 주저자이자 BYU 회계학 교수인 데이비드 우드는 가능한 한 많은 교수의 참여를 받아 AI의 시험 성적을 실제 대학 회계학 학생들의 성적과 비교하기로 했습니다.

회계 시험에서 ChatGPT와 학생들의 성적 비교

이 연구에는 14개국 186개 교육기관에서 공동저자 327명이 참여해 수업에 사용된 회계 시험 문제 25,181개를 제공했습니다. BYU 학부생들도 교재의 문제 은행에서 2,268개를 제공했습니다. 문제는 회계정보시스템(AIS), 감사, 재무회계, 관리회계, 세무 등 여러 분야를 다뤘으며 난이도와 유형도 다양했습니다.

ChatGPT의 성적은 인상적이었지만 학생들이 더 높은 점수를 받았습니다. 학생 평균은 76.7%인 반면 ChatGPT는 47.4%였습니다. 전체 문제의 11.3%에서는 ChatGPT가 학생 평균을 넘어섰고, 특히 AIS와 감사에서 좋은 성적을 보였습니다. 그러나 세무, 재무회계, 관리회계 문제에서는 어려움을 겪었습니다. 수학적 연산을 수행하는 데 어려움이 있기 때문일 수 있습니다.

ChatGPT는 참·거짓 문제에서 정답률 68.7%, 객관식 문제에서 59.5%로 더 좋은 성적을 보였지만, 단답형 문제의 정답률은 28.7%에서 39.1% 사이에 그쳤습니다. 전반적으로 고차원적 사고가 필요한 문제에 어려움을 겪었으며, 때로는 틀린 답에 그럴듯한 설명을 붙이거나 같은 문제에 서로 다른 답을 내놓았습니다.

교육에서 ChatGPT의 미래

이러한 한계에도 연구자들은 GPT-4가 회계 문제에서 더 좋은 성적을 내고 발견된 문제를 해결할 것으로 기대합니다. 가장 유망한 부분은 과제의 설계와 검증을 돕거나 프로젝트 일부의 초안을 작성하는 등 교수·학습을 개선할 수 있는 챗봇의 잠재력입니다.

연구 공동저자이자 BYU 회계학 교수인 멜리사 라슨은 “이것은 큰 변화이며, 앞으로 어떻게 나아갈지 평가해야 합니다”라고 말했습니다. 이어 “물론 앞으로도 조교는 필요하지만, 그들의 도움을 다른 방식으로 활용하게 될 것입니다”라고 덧붙였습니다.

AI가 계속 발전함에 따라 교육자들은 변화에 적응하고 이러한 기술을 교수법에 통합할 새로운 방법을 찾아야 합니다.