OpenAI’s ChatGPT affronte les examens de comptabilité universitaires

OpenAI a récemment lancé son révolutionnaire chatbot IA, GPT-4, qui fait des vagues dans divers domaines. Avec un score au 90e percentile à l’examen du barreau, en passant 13 des 15 examens AP et en obtenant un score presque parfait à l’examen GRE Verbal, les performances de GPT-4 n’ont rien de moins que d’extraordinaire.

Les chercheurs de l’Université Brigham Young (BYU) et de 186 autres universités étaient curieux de savoir comment la technologie d’OpenAI se comporterait sur les examens de comptabilité. Ils ont testé la version originale, ChatGPT, et ont constaté que même s’il y a encore du travail à faire dans le domaine de la comptabilité, la technologie est un facteur de changement qui aura un impact positif sur la façon dont l’éducation est dispensée et reçue.

Depuis son lancement en novembre 2022, ChatGPT est devenu la plate-forme technologique à la croissance la plus rapide, atteignant 100 millions d’utilisateurs en moins de deux mois. À la lumière du débat en cours sur le rôle des modèles d’IA comme ChatGPT dans l’éducation, l’auteur principal de l’étude, David Wood, professeur de comptabilité à BYU, a décidé de recruter autant de professeurs que possible pour évaluer les performances de l’IA par rapport à celles des étudiants en comptabilité de l’université.

ChatGPT vs. les étudiants sur les examens de comptabilité

La recherche a impliqué 327 co-auteurs de 186 établissements d’enseignement de 14 pays, qui ont contribué 25 181 questions d’examens de comptabilité en classe. Les étudiants de premier cycle de BYU ont également fourni 2 268 questions de banque de tests de manuel. Les questions couvraient divers sous-domaines de la comptabilité, tels que les systèmes d’information de la comptabilité (AIS), l’audit, la comptabilité financière, la comptabilité de gestion et la fiscalité. Ils variaient également en difficulté et en type.

Bien que les performances de ChatGPT aient été impressionnantes, les étudiants ont surpassé l’IA, avec un score moyen de 76,7 % par rapport à 47,4 % pour ChatGPT. Sur 11,3 % des questions, ChatGPT a obtenu un score supérieur à la moyenne des étudiants, en particulier en excellant en AIS et en audit. Cependant, il a eu du mal avec les évaluations fiscales, financières et de gestion, probablement en raison de ses difficultés avec les processus mathématiques.

ChatGPT a mieux performé sur les questions à choix multiple (68,7 % correctes) et les questions à choix multiple (59,5 %), mais a eu du mal avec les questions à réponse courte (28,7 % à 39,1 %). Il a généralement eu du mal avec les questions de niveau supérieur, parfois fournissant des descriptions écrites autorisées pour des réponses incorrectes ou en répondant à la même question de différentes manières.

Le futur de ChatGPT dans l’éducation

Malgré ses limites, les chercheurs anticipent que GPT-4 améliorera les questions de comptabilité et résoudra les problèmes qu’ils ont découverts. L’aspect le plus prometteur est le potentiel du chatbot à améliorer l’enseignement et l’apprentissage, comme aider à concevoir et à tester des devoirs ou à rédiger des parties d’un projet.

“C’est une rupture, et nous devons évaluer où nous allons à partir de là”, a déclaré la co-auteure de l’étude et professeure de comptabilité à BYU, Melissa Larson. “Bien sûr, j’aurai toujours des assistants, mais cela va nous obliger à les utiliser de différentes manières.”

Alors que l’IA continue de progresser, les éducateurs doivent s’adapter et trouver de nouvelles façons d’intégrer ces technologies dans leurs méthodes d’enseignement.