OpenAIs ChatGPT meistert Universitätsprüfungen im Bereich Rechnungswesen

OpenAI hat kürzlich seinen bahnbrechenden AI-Chatbot GPT-4 veröffentlicht, der in verschiedenen Bereichen Wellen schlägt. Mit einem Ergebnis im 90. Perzentil bei der Anwaltsprüfung, bei der 13 von 15 AP-Prüfungen bestanden wurden und bei der GRE-Verbal-Prüfung nahezu perfekt abgeschnitten wurde, war GPT-4s Leistung nichts weniger als außergewöhnlich.

Forscher an der Brigham Young University (BYU) und 186 anderen Universitäten waren neugierig, wie sich OpenAIs Technologie bei Rechnungswesen-Prüfungen schlagen würde. Sie testeten die ursprüngliche Version, ChatGPT, und fanden heraus, dass es zwar noch Raum für Verbesserungen im Bereich Rechnungswesen gibt, die Technologie jedoch ein Game-Changer ist, der die Art und Weise, wie Bildung vermittelt und empfangen wird, positiv beeinflussen wird.

Seit seinem Debüt im November 2022 ist ChatGPT zur am schnellsten wachsenden Technologie-Plattform aller Zeiten geworden und hat in weniger als zwei Monaten 100 Millionen Nutzer erreicht. Im Hinblick auf die anhaltende Debatte über die Rolle von KI-Modellen wie ChatGPT in der Bildung entschied sich der Leitautor der Studie, David Wood, ein Professor für Rechnungswesen an der BYU, dazu, so viele Professoren wie möglich zu rekrutieren, um die Leistung des KI-Modells gegenüber tatsächlichen Universitätsstudenten im Bereich Rechnungswesen zu bewerten.

ChatGPT vs. Studenten bei Rechnungswesen-Prüfungen

Die Forschung umfasste 327 Co-Autoren aus 186 Bildungseinrichtungen in 14 Ländern, die 25.181 Klassenzimmer-Rechnungswesen-Prüfungsfragen beisteuerten. BYU-Studenten im Grundstudium lieferten außerdem 2.268 Fragen aus dem Lehrbuch-Testbank. Die Fragen deckten verschiedene Teilbereiche des Rechnungswesens ab, wie z.B. Rechnungswesen-Informationssysteme (AIS), Auditing, Finanzbuchhaltung, Management-Rechnungswesen und Steuern. Sie variierten auch in Schwierigkeitsgrad und Art.

Obwohl ChatGPTs Leistung beeindruckend war, übertrafen die Studenten den KI-Chatbot, mit einem Durchschnittsergebnis von 76,7 % im Vergleich zu ChatGPTs 47,4 %. Bei 11,3 % der Fragen erzielte ChatGPT ein höheres Ergebnis als der Studentendurchschnitt, insbesondere in den Bereichen AIS und Auditing. Es hatte jedoch Schwierigkeiten mit Steuer-, Finanz- und Management-Beurteilungen, möglicherweise aufgrund seiner Schwierigkeiten mit mathematischen Prozessen.

ChatGPT schnitt bei wahr/falsch-Fragen (68,7 % korrekt) und Multiple-Choice-Fragen (59,5 %) besser ab, hatte jedoch Schwierigkeiten mit Kurzantwort-Fragen (28,7 % bis 39,1 %). Es hatte generell Schwierigkeiten mit höheren Fragen, manchmal autoritative schriftliche Beschreibungen für falsche Antworten lieferte oder dieselbe Frage auf unterschiedliche Weise beantwortete.

Die Zukunft von ChatGPT in der Bildung

Trotz seiner Einschränkungen erwarten die Forscher, dass GPT-4 bei Rechnungswesen-Fragen verbessert werden und die Probleme angehen wird, die sie entdeckt haben. Der vielversprechendste Aspekt ist das Potenzial des Chatbots, das Lehren und Lernen zu verbessern, wie z.B. bei der Gestaltung und Erstellung von Aufgaben oder dem Entwurf von Teilen eines Projekts.

“Dies ist eine Störung, und wir müssen bewerten, wie wir von hier aus vorgehen”, sagte die Co-Autorin der Studie und Fellow-Professorin für Rechnungswesen an der BYU, Melissa Larson. “Natürlich werde ich immer noch TAs haben, aber dies wird uns dazu zwingen, sie auf andere Weise zu nutzen.”

Da die KI-Technologie weiter voranschreitet, müssen Bildungseinrichtungen sich anpassen und neue Wege finden, um diese Technologien in ihre Lehrmethoden zu integrieren.