OpenAIs ChatGPT stellt sich Universitätsprüfungen im Rechnungswesen

OpenAI hat kürzlich seine bahnbrechende KI-Chatbot-Technologie GPT-4 vorgestellt, die in verschiedenen Bereichen für Aufsehen sorgt. GPT-4 erzielte außergewöhnliche Ergebnisse: das 90. Perzentil bei der Anwaltsprüfung, bestandene Prüfungen in 13 von 15 AP-Fächern und ein nahezu perfektes Ergebnis im GRE-Verbal-Test.

Forschende der Brigham Young University (BYU) und 186 weiterer Universitäten wollten wissen, wie OpenAIs Technologie bei Prüfungen im Rechnungswesen abschneidet. Sie testeten die ursprüngliche Version von ChatGPT und stellten fest, dass im Rechnungswesen zwar noch Verbesserungsbedarf besteht, die Technologie das Lehren und Lernen jedoch grundlegend zum Positiven verändern kann.

Seit seiner Einführung im November 2022 wurde ChatGPT zur am schnellsten wachsenden Technologieplattform und erreichte in weniger als zwei Monaten 100 Millionen Nutzende. Angesichts der anhaltenden Debatte über die Rolle von KI-Modellen wie ChatGPT in der Bildung beschloss David Wood, Professor für Rechnungswesen an der BYU und Hauptautor der Studie , möglichst viele Lehrende einzubeziehen, um die Leistung der KI mit der tatsächlicher Studierender im Rechnungswesen zu vergleichen.

ChatGPT und Studierende im Vergleich bei Prüfungen im Rechnungswesen

An der Untersuchung waren 327 Mitautorinnen und Mitautoren aus 186 Bildungseinrichtungen in 14 Ländern beteiligt. Sie steuerten 25.181 Prüfungsfragen aus dem Rechnungswesen bei, die im Unterricht verwendet wurden. BYU-Studierende im Grundstudium lieferten weitere 2268 Fragen aus den Testfragensammlungen von Lehrbüchern. Die Fragen deckten verschiedene Teilgebiete ab, darunter Rechnungswesen-Informationssysteme (AIS), Wirtschaftsprüfung, Finanzbuchhaltung, internes Rechnungswesen und Steuern. Auch Schwierigkeit und Fragetyp waren unterschiedlich.

Obwohl ChatGPT beeindruckende Ergebnisse erzielte, schnitten die Studierenden mit durchschnittlich 76,7% besser ab als ChatGPT mit 47,4%. Bei 11,3% der Fragen übertraf ChatGPT den Durchschnitt der Studierenden, insbesondere in AIS und Wirtschaftsprüfung. Schwierigkeiten hatte es hingegen mit Aufgaben zu Steuern sowie zum externen und internen Rechnungswesen, möglicherweise wegen seiner Probleme mit mathematischen Rechenverfahren.

ChatGPT schnitt bei Richtig/Falsch-Fragen mit 68,7% richtigen Antworten und bei Multiple-Choice-Fragen mit 59,5% besser ab. Kurzantwortfragen bereiteten ihm hingegen Schwierigkeiten; hier lag der Anteil richtiger Antworten zwischen 28,7% und 39,1%. Generell hatte es Probleme mit Fragen, die anspruchsvollere Denkprozesse erforderten. Teilweise lieferte es überzeugend formulierte Erklärungen für falsche Antworten oder beantwortete dieselbe Frage auf unterschiedliche Weise.

Die Zukunft von ChatGPT in der Bildung

Trotz der Einschränkungen erwarten die Forschenden, dass GPT-4 bei Rechnungswesen-Fragen besser abschneiden und die festgestellten Probleme beheben wird. Besonders vielversprechend ist das Potenzial des Chatbots, Lehren und Lernen zu verbessern, beispielsweise durch Hilfe beim Entwerfen und Erproben von Aufgaben oder beim Erstellen von Entwürfen für Teile eines Projekts.

„Das ist ein grundlegender Umbruch, und wir müssen prüfen, wie wir von hier aus weitermachen“, sagte Studienmitautorin Melissa Larson, ebenfalls Professorin für Rechnungswesen an der BYU. „Natürlich werde ich weiterhin Lehrassistentinnen und Lehrassistenten haben, aber wir werden ihre Unterstützung auf andere Weise nutzen müssen.“

Mit der weiteren Entwicklung der KI müssen Lehrende sich anpassen und neue Möglichkeiten finden, diese Technologien in ihre Lehrmethoden einzubinden.