OpenAI’s ChatGPT Menghadapi Ujian Akuntansi Universitas

OpenAI baru-baru ini meluncurkan chatbot AI yang revolusioner, GPT-4, yang telah membuat gelombang di berbagai bidang. Dengan skor persentil 90 pada ujian bar, lulus 13 dari 15 ujian AP, dan skor hampir sempurna pada tes GRE Verbal, kinerja GPT-4 tidak kurang dari luar biasa.

Peneliti di Brigham Young University (BYU) dan 186 universitas lainnya penasaran tentang bagaimana teknologi OpenAI akan berperforma pada ujian akuntansi. Mereka menguji versi asli, ChatGPT, dan menemukan bahwa meskipun masih ada ruang untuk perbaikan dalam domain akuntansi, teknologi ini adalah perubahan besar yang akan berdampak positif pada cara pendidikan disampaikan dan diterima.

Sejak debutnya pada November 2022, ChatGPT telah menjadi platform teknologi yang tumbuh paling cepat, mencapai 100 juta pengguna dalam waktu kurang dari dua bulan. Dalam cahaya debat yang sedang berlangsung tentang peran model AI seperti ChatGPT dalam pendidikan, penulis utama studi, David Wood, profesor akuntansi BYU, memutuskan untuk merekrut sebanyak mungkin profesor untuk menilai kinerja AI melawan mahasiswa akuntansi universitas yang sebenarnya.

ChatGPT vs. Mahasiswa pada Ujian Akuntansi

Penelitian ini melibatkan 327 ko-penulis dari 186 lembaga pendidikan di 14 negara, yang menyumbangkan 25.181 pertanyaan ujian akuntansi kelas. Mahasiswa sarjana BYU juga menyediakan 2.268 pertanyaan bank soal buku teks. Pertanyaan-pertanyaan ini mencakup berbagai subbidang akuntansi, seperti sistem informasi akuntansi (AIS), auditing, akuntansi keuangan, akuntansi manajemen, dan pajak. Mereka juga bervariasi dalam tingkat kesulitan dan jenis.

Meskipun kinerja ChatGPT impresif, mahasiswa outperform AI, dengan skor rata-rata 76,7% dibandingkan dengan skor ChatGPT 47,4%. Pada 11,3% pertanyaan, ChatGPT skor lebih tinggi dari rata-rata mahasiswa, terutama unggul dalam AIS dan auditing. Namun, ia bergelut dengan penilaian pajak, keuangan, dan manajemen, mungkin karena kesulitannya dengan proses matematika.

ChatGPT berperforma lebih baik pada pertanyaan benar/salah (68,7% benar) dan pertanyaan pilihan ganda (59,5%) tetapi mengalami kesulitan dengan pertanyaan jawaban singkat (28,7% hingga 39,1%). Secara umum, ia bergelut dengan pertanyaan tingkat tinggi, terkadang memberikan deskripsi tertulis yang berwenang untuk jawaban yang salah atau menjawab pertanyaan yang sama dengan cara yang berbeda.

Masa Depan ChatGPT dalam Pendidikan

Meskipun keterbatasannya, peneliti memprediksi bahwa GPT-4 akan meningkatkan kinerja pada pertanyaan akuntansi dan mengatasi masalah yang ditemukan. Aspek paling menjanjikan adalah potensi chatbot untuk meningkatkan pengajaran dan pembelajaran, seperti membantu merancang dan menguji tugas atau menggambar bagian dari proyek.

“Ini adalah gangguan, dan kita perlu menilai dari mana kita harus melanjutkan,” kata co-penulis studi dan rekan profesor akuntansi BYU, Melissa Larson. “Tentu saja, saya masih akan memiliki asisten, tetapi ini akan memaksa kita untuk menggunakan mereka dengan cara yang berbeda.”

Seiring AI terus berkembang, pendidik harus beradaptasi dan menemukan cara baru untuk mengintegrasikan teknologi ini ke dalam metode pengajaran mereka.