Bot Obrolan AI Berjuang dengan Pemahaman Linguistik

Munculnya bot obrolan kecerdasan buatan (AI) telah mengubah pengalaman percakapan, membawa kemajuan yang tampaknya sejalan dengan pemahaman dan penggunaan bahasa manusia. Bot obrolan ini, yang ditenagai oleh model bahasa yang substansial, menjadi mahir dalam menavigasi kompleksitas interaksi manusia.

Namun, sebuah studi baru telah mengungkap kerentanan persisten dari model-model ini dalam membedakan bahasa alami dari nonsens. Penelitian yang dilakukan oleh peneliti Universitas Columbia ini menyajikan wawasan menarik tentang potensi perbaikan kinerja bot obrolan dan pemrosesan bahasa manusia.

Penyelidikan terhadap Model Bahasa

Tim peneliti menjelaskan tentang penelitian mereka yang melibatkan sembilan model bahasa yang berbeda yang diberi pasangan kalimat. Peserta manusia dalam studi ini diminta untuk membedakan kalimat yang lebih “alami” dalam setiap pasangan, mencerminkan penggunaan sehari-hari. Model-model ini kemudian dievaluasi berdasarkan apakah penilaian mereka sesuai dengan pilihan manusia.

Ketika model-model ini dibandingkan satu sama lain, model-model yang berbasis pada jaringan neural transformer menunjukkan kinerja yang lebih baik dibandingkan dengan model-model jaringan neural rekuren dan model statistik yang lebih sederhana. Namun, bahkan model-model yang lebih canggih menunjukkan kesalahan, sering memilih kalimat yang dianggap nonsens oleh manusia.

Perjuangan dengan Kalimat Nonsens

Dr. Nikolaus Kriegeskorte, seorang peneliti utama di Institut Zuckerman Columbia, menekankan keberhasilan relatif model bahasa besar dalam menangkap aspek-aspek kunci yang terlewatkan oleh model-model yang lebih sederhana. Ia menyatakan, “Bahwa bahkan model terbaik yang kami pelajari masih dapat ditipu oleh kalimat nonsens menunjukkan bahwa perhitungan mereka kurang tentang cara manusia memproses bahasa.”

Sebuah contoh menarik dari studi ini menyoroti model seperti BERT yang salah menilai kalimat alami, berbeda dengan model seperti GPT-2, yang sesuai dengan penilaian manusia. Kekurangan yang ada pada model-model ini, seperti yang dinyatakan oleh Christopher Baldassano, Ph.D., seorang asisten profesor psikologi di Columbia, menimbulkan kekhawatiran tentang ketergantungan pada sistem AI dalam proses pengambilan keputusan, menarik perhatian pada “titik buta” mereka dalam menandai kalimat.

Implikasi dan Arah Masa Depan

Kesenjangan dalam kinerja dan eksplorasi tentang mengapa beberapa model unggul lebih dari yang lain adalah area yang menarik bagi Dr. Kriegeskorte. Ia percaya bahwa memahami perbedaan ini dapat secara signifikan mendorong kemajuan dalam model bahasa.

Studi ini juga membuka peluang untuk mengeksplorasi apakah mekanisme dalam bot obrolan AI dapat memicu penyelidikan ilmiah baru, membantu neurosaintis dalam memahami kerumitan otak manusia.

Tal Golan, Ph.D., penulis koresponden makalah ini, menunjukkan minat dalam memahami proses berpikir manusia, mempertimbangkan kemampuan AI yang berkembang dalam pemrosesan bahasa. “Membandingkan pemahaman bahasa mereka dengan kita memberi kita pendekatan baru untuk berpikir tentang bagaimana kita berpikir,” katanya.

Penjelajahan kemampuan linguistik bot obrolan AI telah mengungkap tantangan yang masih ada dalam menyelaraskan pemahaman mereka dengan kognisi manusia.

Upaya terus-menerus untuk memahami perbedaan ini dan pengungkapan yang dihasilkan diposisikan untuk tidak hanya meningkatkan efektivitas bot obrolan AI tetapi juga untuk mengungkap lapisan-lapisan kognitif manusia yang kompleks.

Penjajaran pemahaman bahasa yang digerakkan AI dan kognisi manusia membentuk fondasi untuk eksplorasi multifaset, yang berpotensi mengubah persepsi dan meningkatkan pengetahuan dalam ranah AI dan neurosains yang saling terkait.