ChatGPT dari OpenAI mengerjakan ujian akuntansi universitas

OpenAI baru-baru ini memperkenalkan teknologi chatbot AI terobosannya, GPT-4, yang menarik perhatian di berbagai bidang. GPT-4 menunjukkan kinerja luar biasa: mencapai persentil ke-90 dalam ujian profesi advokat, lulus 13 dari 15 ujian AP, dan memperoleh skor hampir sempurna pada tes GRE Verbal.

Para peneliti di Brigham Young University (BYU) dan 186 universitas lainnya ingin mengetahui kinerja teknologi OpenAI dalam ujian akuntansi. Mereka menguji versi awal ChatGPT dan menemukan bahwa, meskipun masih perlu ditingkatkan dalam bidang akuntansi, teknologi ini berpotensi membawa perubahan besar yang positif pada cara mengajar dan belajar.

Sejak diluncurkan pada November 2022, ChatGPT menjadi platform teknologi dengan pertumbuhan tercepat, mencapai 100 juta pengguna dalam waktu kurang dari dua bulan. Di tengah perdebatan mengenai peran model AI seperti ChatGPT dalam pendidikan, David Wood, profesor akuntansi BYU sekaligus penulis utama penelitian , memutuskan untuk melibatkan sebanyak mungkin dosen agar dapat membandingkan kinerja AI dengan hasil nyata mahasiswa akuntansi universitas.

ChatGPT dibandingkan dengan mahasiswa dalam ujian akuntansi

Penelitian ini melibatkan 327 penulis bersama dari 186 lembaga pendidikan di 14 negara. Mereka menyumbangkan 25.181 soal ujian akuntansi yang digunakan di kelas. Mahasiswa sarjana BYU juga menyediakan 2268 soal dari bank soal buku ajar. Soal-soal tersebut mencakup berbagai subbidang, seperti sistem informasi akuntansi (AIS), audit, akuntansi keuangan, akuntansi manajemen, dan perpajakan, dengan tingkat kesulitan dan jenis yang beragam.

Meskipun kinerja ChatGPT mengesankan, mahasiswa memperoleh hasil lebih baik, dengan skor rata-rata 76,7% dibandingkan dengan 47,4% untuk ChatGPT. Pada 11,3% soal, ChatGPT meraih skor di atas rata-rata mahasiswa, terutama dalam AIS dan audit. Namun, sistem ini kesulitan menjawab soal perpajakan, akuntansi keuangan, dan akuntansi manajemen, kemungkinan karena kesulitannya dalam melakukan operasi matematika.

ChatGPT berkinerja lebih baik pada soal benar/salah, dengan 68,7% jawaban benar, dan soal pilihan ganda, dengan 59,5%. Sebaliknya, sistem ini kesulitan pada soal jawaban singkat, dengan tingkat ketepatan antara 28,7% dan 39,1%. Secara umum, ChatGPT juga kesulitan menghadapi soal yang memerlukan keterampilan berpikir tingkat tinggi. Terkadang sistem memberikan penjelasan yang terdengar meyakinkan untuk jawaban salah atau menjawab soal yang sama secara berbeda.

Masa depan ChatGPT dalam pendidikan

Terlepas dari keterbatasannya, para peneliti memperkirakan GPT-4 akan lebih baik dalam menjawab soal akuntansi dan mengatasi masalah yang ditemukan. Aspek yang paling menjanjikan adalah potensi chatbot untuk meningkatkan pengajaran dan pembelajaran, misalnya membantu merancang dan menguji tugas atau menyusun draf bagian-bagian proyek.

«Ini merupakan perubahan besar, dan kita perlu menilai langkah selanjutnya», kata Melissa Larson, penulis bersama penelitian dan profesor akuntansi BYU. «Tentu saja saya tetap akan memiliki asisten pengajar, tetapi hal ini akan mengharuskan kita memanfaatkan bantuan mereka dengan cara yang berbeda.»

Seiring kemajuan AI, para pendidik harus beradaptasi dan menemukan cara baru untuk mengintegrasikan teknologi ini ke dalam metode pengajaran mereka.