ChatGPT от OpenAI решает университетские экзамены по бухгалтерскому учёту

Недавно OpenAI представила свою прорывную технологию чат-бота с искусственным интеллектом GPT-4, которая привлекла внимание в самых разных областях. Результаты GPT-4 оказались выдающимися: 90-й процентиль на экзамене для допуска к адвокатской практике, успешно сданные 13 из 15 экзаменов AP и почти максимальный балл на тесте GRE Verbal.

Исследователи из Университета Бригама Янга (BYU) и ещё 186 университетов захотели узнать, как технология OpenAI справится с экзаменами по бухгалтерскому учёту. Они протестировали первоначальную версию ChatGPT и обнаружили, что, хотя в этой области ещё есть возможности для улучшения, технология способна коренным образом изменить преподавание и обучение к лучшему.

С момента запуска в ноябре 2022 года ChatGPT стал самой быстрорастущей технологической платформой, набрав 100 миллионов пользователей менее чем за два месяца. На фоне продолжающихся дискуссий о роли моделей ИИ, таких как ChatGPT, в образовании ведущий автор исследования Дэвид Вуд, профессор бухгалтерского учёта в BYU, решил привлечь как можно больше преподавателей, чтобы сравнить результаты ИИ с результатами реальных студентов университетов, изучающих бухгалтерский учёт.

Сравнение ChatGPT и студентов на экзаменах по бухгалтерскому учёту

В исследовании участвовали 327 соавторов из 186 образовательных учреждений в 14 странах. Они предоставили 25 181 вопрос из экзаменов по бухгалтерскому учёту, используемых на занятиях. Студенты бакалавриата BYU также предоставили 2268 вопросов из банков тестовых заданий к учебникам. Вопросы охватывали разные направления, в том числе информационные системы бухгалтерского учёта (AIS), аудит, финансовый учёт, управленческий учёт и налогообложение. Они также различались по сложности и типу.

Хотя результаты ChatGPT впечатляли, студенты справились лучше: их средний балл составил 76,7% против 47,4% у ChatGPT. В 11,3% вопросов ChatGPT превысил средний результат студентов, особенно хорошо показав себя в AIS и аудите. Однако он испытывал трудности с заданиями по налогообложению, финансовому и управленческому учёту, возможно, из-за сложностей с математическими вычислениями.

ChatGPT лучше отвечал на вопросы типа «верно/неверно» — 68,7% правильных ответов — и вопросы с выбором ответа — 59,5%. Вопросы с кратким ответом давались сложнее: доля правильных ответов составляла от 28,7% до 39,1%. В целом модель испытывала трудности с заданиями, требующими мышления более высокого уровня. Иногда она давала убедительно сформулированные объяснения неправильных ответов или по-разному отвечала на один и тот же вопрос.

Будущее ChatGPT в образовании

Несмотря на ограничения, исследователи ожидают, что GPT-4 лучше справится с вопросами по бухгалтерскому учёту и устранит выявленные проблемы. Наиболее перспективна возможность использовать чат-бота для улучшения преподавания и обучения, например при разработке и проверке заданий или подготовке черновиков отдельных частей проекта.

«Это кардинальная перемена, и нам нужно оценить, как двигаться дальше», — сказала соавтор исследования, профессор бухгалтерского учёта в BYU Мелисса Ларсон. «Конечно, у меня по-прежнему будут ассистенты преподавателя, но нам придётся по-другому использовать их помощь».

По мере дальнейшего развития ИИ педагогам необходимо адаптироваться и находить новые способы включения этих технологий в свои методы преподавания.