O ChatGPT da OpenAI enfrenta exames de contabilidade universitários

A OpenAI recentemente lançou seu revolucionário chatbot de IA, GPT-4, que tem feito ondas em vários campos. Com uma pontuação no 90º percentil no exame da ordem dos advogados, passando em 13 de 15 exames AP e pontuando quase perfeitamente no teste verbal do GRE, o desempenho do GPT-4 foi nada menos que extraordinário.

Pesquisadores da Brigham Young University (BYU) e de outras 186 universidades estavam curiosos para saber como a tecnologia da OpenAI se sairia em exames de contabilidade. Eles testaram a versão original, ChatGPT, e descobriram que, embora ainda haja espaço para melhoria no domínio da contabilidade, a tecnologia é um divisor de águas que impactará positivamente a forma como a educação é ministrada e recebida.

Desde seu lançamento em novembro de 2022, o ChatGPT se tornou a plataforma de tecnologia de crescimento mais rápido já registrada, atingindo 100 milhões de usuários em menos de dois meses. Diante do debate em curso sobre o papel dos modelos de IA como o ChatGPT na educação, o autor principal do estudo, David Wood, professor de contabilidade da BYU, decidiu recrutar o maior número possível de professores para avaliar o desempenho da IA em comparação com estudantes de contabilidade universitários reais.

ChatGPT vs. Estudantes em Exames de Contabilidade

A pesquisa envolveu 327 coautores de 186 instituições de ensino de 14 países, que contribuíram com 25.181 questões de exames de contabilidade de sala de aula. Alunos de graduação da BYU também forneceram 2.268 questões de banco de testes de livros didáticos. As questões abrangiam várias subáreas da contabilidade, como sistemas de informação contábil (AIS), auditoria, contabilidade financeira, contabilidade gerencial e impostos. Elas também variavam em dificuldade e tipo.

Embora o desempenho do ChatGPT tenha sido impressionante, os estudantes superaram a IA, com uma pontuação média de 76,7% em comparação com 47,4% do ChatGPT. Em 11,3% das questões, o ChatGPT pontuou mais alto do que a média dos estudantes, especialmente se destacando em AIS e auditoria. No entanto, ele teve dificuldade com avaliações de impostos, financeiras e gerenciais, possivelmente devido à sua dificuldade com processos matemáticos.

O ChatGPT se saiu melhor em questões de verdadeiro ou falso (68,7% corretas) e questões de múltipla escolha (59,5%), mas teve dificuldade com questões de resposta curta (28,7% a 39,1%). Ele geralmente teve dificuldade com questões de ordem superior, às vezes fornecendo descrições escritas autorizadas para respostas incorretas ou respondendo à mesma pergunta de diferentes maneiras.

O Futuro do ChatGPT na Educação

Apesar de suas limitações, os pesquisadores antecipam que o GPT-4 melhorará em questões de contabilidade e abordará os problemas que eles descobriram. O aspecto mais promissor é o potencial do chatbot para melhorar o ensino e a aprendizagem, como ajudar a projetar e testar tarefas ou redigir partes de um projeto.

“Isso é uma disruptura, e precisamos avaliar para onde ir de aqui”, disse a coautora do estudo e professora de contabilidade da BYU, Melissa Larson. “Claro, ainda terei TAs, mas isso vai me forçar a usá-los de maneiras diferentes.”

À medida que a IA continua a avançar, os educadores devem se adaptar e encontrar novas maneiras de incorporar essas tecnologias em seus métodos de ensino.