ChatGPT di OpenAI affronta gli esami di contabilità universitaria

OpenAI ha recentemente lanciato il suo rivoluzionario chatbot AI, GPT-4, che ha fatto scalpore in vari campi. Con un punteggio del 90° percentile nell'esame di abilitazione, il superamento di 13 esami AP su 15 e un punteggio quasi perfetto nel test verbale GRE, le prestazioni di GPT-4 sono state a dir poco straordinarie.

I ricercatori della Brigham Young University (BYU) e di altre 186 università erano curiosi di sapere come la tecnologia di OpenAI si sarebbe comportata negli esami di contabilità. Hanno testato la versione originale, ChatGPT, e hanno scoperto che mentre c'è ancora spazio per miglioramenti nel dominio della contabilità, la tecnologia è un punto di svolta che avrà un impatto positivo sul modo in cui l'istruzione viene fornita e ricevuta.

Dal suo debutto nel novembre 2022, ChatGPT è diventata la piattaforma tecnologica in più rapida crescita di sempre, raggiungendo 100 milioni di utenti in meno di due mesi. Alla luce del dibattito in corso sul ruolo dei modelli di intelligenza artificiale come ChatGPT nell'istruzione, lead studio l'autore David Wood, un professore di contabilità della BYU, ha deciso di reclutare quanti più professori possibile per valutare le prestazioni dell'IA rispetto agli studenti di contabilità dell'università.

ChatGPT contro studenti agli esami di contabilità

La ricerca ha coinvolto 327 coautori di 186 istituti scolastici di 14 paesi, che hanno contribuito con 25,181 domande d'esame di contabilità in classe. Gli studenti universitari della BYU hanno anche fornito 2,268 domande sui banchi di prova dei libri di testo. Le domande riguardavano vari sottocampi contabili, come i sistemi informativi contabili (AIS), la revisione contabile, la contabilità finanziaria, la contabilità gestionale e le imposte. Inoltre variavano in difficoltà e tipo.

Sebbene le prestazioni di ChatGPT siano state impressionanti, gli studenti hanno superato l'intelligenza artificiale, con un punteggio medio del 76.7% rispetto al 47.4% di ChatGPT. Nell'11.3% delle domande, ChatGPT ha ottenuto un punteggio superiore alla media degli studenti, eccellendo in particolare in AIS e auditing. Tuttavia, ha lottato con valutazioni fiscali, finanziarie e gestionali, forse a causa della sua difficoltà con i processi matematici.

ChatGPT ha ottenuto risultati migliori su domande vero/falso (68.7% corretto) e domande a scelta multipla (59.5%) ma ha avuto difficoltà con domande a risposta breve (dal 28.7% al 39.1%). In genere ha lottato con domande di ordine superiore, a volte fornendo descrizioni scritte autorevoli per risposte errate o rispondendo alla stessa domanda in modi diversi.

Il futuro di ChatGPT nell'istruzione

Nonostante i suoi limiti, i ricercatori prevedono che GPT-4 migliorerà le questioni contabili e affronterà i problemi che hanno scoperto. L'aspetto più promettente è il potenziale del chatbot per migliorare l'insegnamento e l'apprendimento, come aiutare a progettare e testare incarichi o bozze di parti di un progetto.

"Questa è un'interruzione e dobbiamo valutare dove andremo da qui", ha affermato Melissa Larson, coautrice dello studio e collega professore di contabilità della BYU. "Certo, avrò ancora i TA, ma questo ci costringerà a usarli in modi diversi."

Mentre l'intelligenza artificiale continua a progredire, gli educatori devono adattarsi e trovare nuovi modi per incorporare queste tecnologie nei loro metodi di insegnamento.