Peneliti Mengembangkan Serangkaian Pertanyaan yang Dapat Mengacaukan Komputer Terbaik

Peneliti dari Universitas Maryland berhasil menciptakan serangkaian pertanyaan yang mudah dijawab oleh manusia tetapi sulit dijawab oleh beberapa sistem komputer terbaik yang ada saat ini. Tim tersebut menghasilkan pertanyaan-pertanyaan tersebut melalui kolaborasi antara manusia dan komputer, dan mereka berhasil menciptakan database yang berisi lebih dari 1.200 kata. Jika sebuah sistem komputer dapat belajar dan menguasai pertanyaan-pertanyaan tersebut, maka sistem tersebut akan memiliki pemahaman bahasa manusia yang terbaik di antara semua sistem komputer yang ada saat ini.

Penelitian ini dipublikasikan dalam sebuah artikel di jurnal Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, seorang profesor asosiasi ilmu komputer di UMD dan penulis senior artikel tersebut, berbicara tentang perkembangan baru ini.

“Sebagian besar sistem komputer yang menjawab pertanyaan tidak menjelaskan mengapa mereka menjawab dengan cara tertentu, tetapi penelitian kami membantu kami memahami apa yang sebenarnya dipahami oleh komputer,” katanya. “Selain itu, kami telah menghasilkan dataset untuk diuji pada komputer yang akan menunjukkan apakah sebuah sistem bahasa komputer benar-benar membaca dan melakukan proses yang sama seperti yang dilakukan oleh manusia.”

Saat ini, pertanyaan untuk program dan sistem tersebut dihasilkan oleh penulis manusia atau komputer. Masalahnya adalah bahwa ketika manusia yang menghasilkan pertanyaan, mereka tidak menyadari semua elemen pertanyaan yang membingungkan komputer. Sistem komputer, di sisi lain, menggunakan rumus, membuat pertanyaan fill-in-the-blank, atau melakukan kesalahan yang dapat menghasilkan kekacauan.

Untuk mendapatkan kerja sama antara manusia dan komputer yang memungkinkan mereka menghasilkan pertanyaan, Boyd-Garber dan tim peneliti menciptakan antarmuka komputer khusus. Menurut mereka, antarmuka tersebut dapat mengetahui apa yang “dipikirkan” oleh komputer saat seorang penulis mengetikkan pertanyaan. Penulis kemudian dapat mengedit dan mengubah pertanyaan berdasarkan kelemahan komputer. Hal ini dapat menghasilkan kekacauan bagi komputer.

Saat penulis mengetikkan pertanyaan, tebakan komputer ditempatkan dalam urutan peringkat. Kata-kata yang bertanggung jawab atas tebakan komputer disorot.

Sistem dapat menjawab pertanyaan dengan benar dan antarmuka akan menyorot kata-kata atau frasa yang menyebabkan jawaban. Dengan informasi tersebut, penulis dapat mengedit pertanyaan untuk membuatnya lebih sulit bagi komputer, tetapi pertanyaan tersebut masih memiliki makna yang sama. Sementara komputer akan menjadi bingung, manusia yang ahli masih dapat menjawab.

Ketika manusia dan komputer bekerja sama, mereka dapat mengembangkan 1.213 pertanyaan komputer yang tidak dapat dijawab oleh komputer. Peneliti menguji pertanyaan-pertanyaan tersebut dalam kompetisi antara pemain manusia dan komputer. Pemain manusia termasuk tim trivia sekolah menengah dan juara “Jeopardy!”. Tim manusia yang paling lemah dapat mengalahkan sistem komputer yang paling kuat.

Shi Feng, seorang mahasiswa pascasarjana ilmu komputer dari UMD dan co-penulis artikel tersebut, berbicara tentang penelitian baru ini.

“Selama tiga atau empat tahun, orang-orang telah menyadari bahwa sistem komputer yang menjawab pertanyaan sangat rapuh dan dapat dengan mudah dibingungkan,” katanya. “Tetapi ini adalah artikel pertama yang kami ketahui yang benar-benar menggunakan mesin untuk membantu manusia memecahkan model itu sendiri.”

Pertanyaan-pertanyaan yang digunakan dapat mengungkap enam fenomena bahasa yang berbeda yang membingungkan komputer. Ada dua kategori. Yang pertama adalah fenomena linguistik yang mencakup paraphrasing, bahasa yang mengganggu, dan konteks yang tidak terduga. Yang kedua adalah kemampuan penalaran dan mencakup logika dan perhitungan, triangulasi mental elemen dalam pertanyaan, dan menggabungkan beberapa langkah untuk membentuk kesimpulan.

“Manusia dapat menggeneralisasi lebih dan melihat koneksi yang lebih dalam,” kata Boyd-Garber. “Mereka tidak memiliki memori yang tidak terbatas seperti komputer, tetapi mereka masih memiliki keunggulan dalam melihat hutan untuk pohon-pohon. Mengkatalogkan masalah komputer membantu kami memahami masalah yang perlu kami tangani, sehingga kami dapat benar-benar membuat komputer mulai melihat hutan melalui pohon-pohon dan menjawab pertanyaan dengan cara yang sama seperti manusia.”

Penelitian ini meletakkan dasar untuk sistem komputer yang akhirnya dapat menguasai bahasa manusia. Ini pasti akan terus dikembangkan dan diperbaiki.

“Artikel ini meletakkan agenda penelitian untuk beberapa tahun ke depan sehingga kami dapat benar-benar membuat komputer menjawab pertanyaan dengan baik,” kata Boyd-Garber.