OpenAI’s ChatGPT розбирається університетські іспити з бухгалтерського обліку

OpenAI недавно запустила свою революційну чат-бот AI, GPT-4, який робить фурор у різних галузях. З результатом у 90-му процентилі на іспиті адвокатури, проходячи 13 із 15 іспитів AP та набираючи майже досконалий результат на тесті GRE Verbal, результати GPT-4 були нічим не гіршими за надзвичайні.

Дослідники в Університеті Бригама Янга (BYU) та ще 186 університетах були цікаві, як технологія OpenAI впорається з іспитами з бухгалтерського обліку. Вони протестували оригінальну версію, ChatGPT, і виявили, що хоча ще є місце для покращення в області бухгалтерського обліку, ця технологія є революційною і позитивно вплине на те, як освіта надається та приймається.

Від свого дебюту в листопаді 2022 року ChatGPT став найшвидшим технологічним платформом, досягнувши 100 мільйонів користувачів менш ніж за два місяці. У світлі триваючої дискусії про роль моделей AI, таких як ChatGPT, в освіті, автор дослідження Девід Вуд, професор бухгалтерського обліку в BYU, вирішив залучити якомога більше професорів для оцінки результатів AI порівняно з справжніми університетськими студентами з бухгалтерського обліку.

ChatGPT проти студентів на іспитах з бухгалтерського обліку

Дослідження включало 327 співавторів з 186 освітніх закладів з 14 країн, які надали 25 181 питання з іспитів з бухгалтерського обліку. Студенти університету BYU також надали 2 268 питань з тестових банків підручників. Питання охоплювали різні підгалузі бухгалтерського обліку, такі як системи бухгалтерського обліку (AIS), аудит, фінансовий облік, облік управління та податковий облік. Вони також різнилися за складністю та типом.

Хоча результати ChatGPT були вражаючими, студенти показали кращі результати, ніж AI, з середнім балом 76,7% порівняно з 47,4% у ChatGPT. На 11,3% питань ChatGPT показав кращий результат, ніж середній бал студентів, особливо у сфері AIS та аудиту. Однак він мав труднощі з податковим, фінансовим та обліком управління, можливо, через труднощі з математичними процесами.

ChatGPT показав кращі результати на питаннях типу “правда/брехня” (68,7% правильних відповідей) та питаннях з декількома варіантами відповідей (59,5%), але мав труднощі з питаннями короткої відповіді (28,7% до 39,1%). Загалом він мав труднощі з питаннями вищого рівня, іноді надаючи авторитетні письмові описи для неправильних відповідей або відповідаючи на одне й те саме питання по-різному.

Майбутнє ChatGPT в освіті

Хоча у нього є обмеження, дослідники вважають, що GPT-4 покращить результати на питаннях з бухгалтерського обліку та вирішить проблеми, які вони виявили. Найперспективнішою є можливість чат-бота покращити навчання та викладання, наприклад, допоможучи розробляти та тестувати завдання або складові частини проекту.

“Це розрив, і нам потрібно оцінити, куди ми рухаємось далі”, – сказав співавтор дослідження та професор бухгалтерського обліку в BYU Мелісса Ларсон. “Звичайно, я все ще буду мати асистентів, але це змусить нас використовувати їх по-іншому.”

Відповідно до розвитку AI, освітнім закладам потрібно адаптуватися та знаходити нові способи включення цих технологій у свої методи викладання.