OpenAI’s ChatGPT meistert Universitäts-Prüfungen im Bereich Rechnungswesen

OpenAI hat kürzlich seinen bahnbrechenden AI-Chatbot, GPT-4, veröffentlicht, der in verschiedenen Bereichen Wellen schlägt. Mit einem Ergebnis im 90. Perzentil bei der Anwaltsprüfung, dem Bestehen von 13 von 15 AP-Prüfungen und nahezu perfekten Ergebnissen beim GRE-Verbal-Test war die Leistung von GPT-4 nichts weniger als außergewöhnlich.

Forscher an der Brigham Young University (BYU) und 186 anderen Universitäten waren neugierig darauf, wie sich OpenAI’s Technologie auf Rechnungswesen-Prüfungen schlagen würde. Sie testeten die ursprüngliche Version, ChatGPT, und fanden heraus, dass es zwar noch Raum für Verbesserungen im Bereich Rechnungswesen gibt, die Technologie jedoch ein Game-Changer ist, der die Art und Weise, wie Bildung vermittelt und empfangen wird, positiv beeinflussen wird.

Seit seinem Debüt im November 2022 ist ChatGPT zur am schnellsten wachsenden Technologieplattform geworden, mit 100 Millionen Nutzern in weniger als zwei Monaten. Im Hinblick auf die laufende Debatte über die Rolle von KI-Modellen wie ChatGPT in der Bildung entschied sich der Leitautor der Studie, David Wood, ein Professor für Rechnungswesen an der BYU, dazu, so viele Professoren wie möglich zu rekrutieren, um die Leistung des KI-Modells gegenüber tatsächlichen Universitätsstudenten im Bereich Rechnungswesen zu bewerten.

ChatGPT vs. Studenten in Rechnungswesen-Prüfungen

Die Forschung umfasste 327 Co-Autoren von 186 Bildungseinrichtungen in 14 Ländern, die 25.181 Klassenzimmer-Rechnungswesen-Prüfungsfragen beisteuerten. BYU-Studenten im Grundstudium lieferten zusätzlich 2.268 Fragen aus dem Lehrbuch-Testbank. Die Fragen deckten verschiedene Teilbereiche des Rechnungswesens ab, wie z.B. Rechnungswesen-Informationssysteme (AIS), Auditing, Finanzbuchhaltung, Management-Rechnungswesen und Steuern. Sie variierten auch in Schwierigkeitsgrad und Art.

Obwohl die Leistung von ChatGPT beeindruckend war, übertrafen die Studenten das KI-Modell, mit einem Durchschnittsergebnis von 76,7 % im Vergleich zu ChatGPT’s 47,4 %. Bei 11,3 % der Fragen erzielte ChatGPT ein höheres Ergebnis als der Studentendurchschnitt, insbesondere in den Bereichen AIS und Auditing. Es hatte jedoch Schwierigkeiten mit Steuer-, Finanz- und Management-Beurteilungen, möglicherweise aufgrund seiner Schwierigkeiten mit mathematischen Prozessen.

ChatGPT erzielte bessere Ergebnisse bei Wahr/Falsch-Fragen (68,7 % korrekt) und Multiple-Choice-Fragen (59,5 %), hatte jedoch Schwierigkeiten mit Kurzantwort-Fragen (28,7 % bis 39,1 %). Es hatte allgemein Schwierigkeiten mit höheren Fragen, manchmal autoritative schriftliche Beschreibungen für falsche Antworten lieferte oder dieselbe Frage auf unterschiedliche Weise beantwortete.

Die Zukunft von ChatGPT in der Bildung

Trotz seiner Einschränkungen gehen die Forscher davon aus, dass GPT-4 sich bei Rechnungswesen-Fragen verbessern und die festgestellten Probleme angehen wird. Der vielversprechendste Aspekt ist das Potenzial des Chatbots, das Lehren und Lernen zu verbessern, wie z.B. durch das Entwerfen und Testen von Aufgaben oder das Verfassen von Teilen eines Projekts.

“Dies ist eine Störung, und wir müssen bewerten, wohin wir von hier aus gehen”, sagte die Co-Autorin der Studie und Fellow-Professorin für Rechnungswesen an der BYU, Melissa Larson. “Natürlich werde ich immer noch TAs haben, aber dies wird uns zwingen, sie auf unterschiedliche Weise einzusetzen.”

Da die KI weiter voranschreitet, müssen die Bildungsverantwortlichen sich anpassen und neue Wege finden, diese Technologien in ihre Lehrmethoden zu integrieren.