ChatGPT від OpenAI складає університетські іспити з бухгалтерського обліку

Нещодавно OpenAI представила свою революційну технологію чат-бота зі штучним інтелектом GPT-4, яка привернула увагу в різних галузях. Результати GPT-4 виявилися надзвичайними: 90-й процентиль на адвокатському іспиті, успішне складання 13 із 15 іспитів AP і майже максимальний бал на тесті GRE Verbal.

Дослідників з Університету Бригама Янга (BYU) та ще 186 університетів зацікавило, як технологія OpenAI впорається з іспитами з бухгалтерського обліку. Вони протестували початкову версію ChatGPT і виявили, що, хоча в цій галузі ще є що вдосконалювати, технологія здатна докорінно змінити викладання та навчання на краще.

Від часу запуску в листопаді 2022 року ChatGPT став технологічною платформою з найшвидшим зростанням, набравши 100 мільйонів користувачів менш ніж за два місяці. На тлі дискусій про роль моделей штучного інтелекту, таких як ChatGPT, в освіті провідний автор дослідження Девід Вуд, професор бухгалтерського обліку в BYU, вирішив залучити якомога більше викладачів, щоб порівняти результати ШІ з результатами справжніх студентів університетів, які вивчають бухгалтерський облік.

ChatGPT проти студентів на іспитах з бухгалтерського обліку

У дослідженні взяли участь 327 співавторів зі 186 закладів освіти у 14 країнах. Вони надали 25 181 запитання з іспитів з бухгалтерського обліку, які використовувалися в навчанні. Студенти бакалаврату BYU також надали 2268 запитань із банків тестів до підручників. Запитання охоплювали різні напрями: інформаційні системи бухгалтерського обліку (AIS), аудит, фінансовий облік, управлінський облік і оподаткування. Вони також відрізнялися за складністю та типом.

Хоча ChatGPT показав вражаючі результати, студенти впоралися краще: їхній середній бал становив 76,7% проти 47,4% у ChatGPT. У 11,3% запитань ChatGPT перевищив середній результат студентів, особливо добре впоравшись із завданнями з AIS та аудиту. Проте він мав труднощі із завданнями з оподаткування, фінансового та управлінського обліку, можливо, через складнощі з математичними обчисленнями.

ChatGPT краще відповідав на запитання типу «правильно/неправильно» — 68,7% правильних відповідей — і запитання з вибором відповіді — 59,5%. Натомість із запитаннями, що вимагали короткої відповіді, виникали труднощі: правильними були від 28,7% до 39,1% відповідей. Загалом модель гірше виконувала завдання, що потребували мислення вищого рівня, іноді надавала переконливо сформульовані пояснення неправильних відповідей або по-різному відповідала на те саме запитання.

Майбутнє ChatGPT в освіті

Попри обмеження, дослідники очікують, що GPT-4 краще відповідатиме на запитання з бухгалтерського обліку та усуне виявлені проблеми. Найперспективнішим є потенціал чат-бота для вдосконалення викладання та навчання, наприклад для допомоги в розробленні й перевірці завдань або підготовці чернеток частин проєкту.

«Це докорінна зміна, і нам потрібно оцінити, куди рухатися далі», — сказала співавторка дослідження, професорка бухгалтерського обліку в BYU Мелісса Ларсон. «Звичайно, у мене й надалі будуть асистенти викладача, але це змусить нас по-іншому використовувати їхню допомогу».

Із подальшим розвитком ШІ освітянам необхідно адаптуватися та знаходити нові способи інтегрувати ці технології у свої методи викладання.