OpenAIのChatGPTが大学の会計試験に挑戦

OpenAIは最近、画期的なAIチャットボット技術であるGPT-4を発表し、さまざまな分野で注目を集めています。司法試験で90パーセンタイルの成績を収め、15科目のAP試験のうち13科目に合格し、GRE Verbalでもほぼ満点を獲得するなど、GPT-4は並外れた能力を示しました。

ブリガムヤング大学（BYU）とほかの186大学の研究者たちは、OpenAIの技術が会計の試験でどのような成績を収めるかに関心を持ちました。初期バージョンのChatGPTを試したところ、会計分野ではまだ改善の余地があるものの、教育の提供方法と学び方を大きく変え、好影響をもたらす技術だと分かりました。

2022年11月の公開以来、ChatGPTは2か月足らずで1億人のユーザーを獲得し、史上最も急速に成長する技術プラットフォームとなりました。教育におけるChatGPTなどのAIモデルの役割について議論が続く中、BYUの会計学教授で、この研究の筆頭著者であるデビッド・ウッドは、AIの成績を実際の大学の会計専攻学生と比較するため、できるだけ多くの教員に参加を呼びかけました。

会計試験でChatGPTと学生を比較

研究には14か国の186教育機関から327人の共著者が参加し、授業で使われる会計試験の問題を25,181問提供しました。BYUの学部生も教科書の問題バンクから2,268問を提供しました。問題は会計情報システム（AIS）、監査、財務会計、管理会計、税務などの分野を網羅し、難易度や出題形式もさまざまでした。

ChatGPTの成績は印象的でしたが、学生の平均点は76.7%で、ChatGPTの47.4%を上回りました。問題の11.3%ではChatGPTが学生の平均を上回り、特にAISと監査で優れた結果を示しました。一方、税務、財務会計、管理会計の問題には苦戦しました。数学的な処理が不得意なことが原因の可能性があります。

ChatGPTは正誤問題で68.7%、多肢選択問題で59.5%の正答率を示した一方、短答式問題では28.7%〜39.1%にとどまりました。全般に、高度な思考を要する問題を苦手としており、誤った答えにもっともらしい説明を付けたり、同じ問題に異なる回答を返したりすることもありました。

教育におけるChatGPTの将来

こうした限界はあるものの、研究者たちはGPT-4が会計問題での成績を改善し、今回見つかった問題に対処すると予想しています。最も期待されるのは、課題の設計や検証、プロジェクトの一部の草稿作成を支援するなど、授業と学習を向上させる可能性です。

共著者でBYUの会計学教授でもあるメリッサ・ラーソンは、「これは大きな変革です。今後どう進むべきかを検討する必要があります」と述べました。「もちろん、今後もティーチングアシスタントは必要です。ただ、その力をこれまでとは違う形で活用することになるでしょう」。

AIが進歩を続ける中、教育者は変化に適応し、こうした技術を指導方法に取り入れる新しい方法を見つける必要があります。