Chatbot Meena Baru Google Dapat Menjalankan Percakapan yang Masuk Akal dan Spesifik tentang Hampir Apa Saja

Sebagus dan seberguna apa pun asisten virtual seperti Siri, Alexa, dan Google Assistant, keterampilan percakapan mereka biasanya terbatas pada menerima perintah tertentu dan mengirimkan respon yang telah ditentukan sebelumnya. Perusahaan seperti Google dan Amazon telah mengejar metode pelatihan dan pengembangan AI yang dapat membuat chatbot AI lebih kuat dan fleksibel, sehingga dapat melakukan percakapan dengan pengguna dengan cara yang lebih alami. Seperti dilaporkan oleh DigitalTrends, Google baru-baru ini menerbitkan sebuah makalah yang menunjukkan kemampuan chatbot barunya, yang diberi nama “Meena”. Menurut sebuah posting blog dari para peneliti, Meena dapat berpartisipasi dalam percakapan dengan penggunanya tentang hampir semua topik.

Meena adalah chatbot domain-terbuka, yang berarti bahwa ia merespons konteks percakapan sehingga jauh dan menyesuaikan diri dengan input untuk mengirimkan respon yang lebih alami. Sebagian besar chatbot lainnya adalah domain-tertutup, yang berarti bahwa respon mereka berpusat pada ide-ide tertentu dan terbatas pada menyelesaikan tugas-tugas tertentu.

Menurut laporan Google, fleksibilitas Meena adalah hasil dari dataset pelatihan yang besar. Meena dilatih pada sekitar 40 miliar kata yang diambil dari percakapan media sosial dan disaring untuk kata-kata yang paling relevan dan representatif. Google bertujuan untuk menangani beberapa masalah yang ditemukan di sebagian besar asisten suara, seperti kemampuan untuk menangani topik dan perintah yang berkembang selama beberapa putaran dalam percakapan, dengan pengguna yang menyediakan input tambahan setelah bot merespons input. Ini berarti bahwa banyak chatbot tidak dapat meminta klarifikasi pengguna dan ketika ada pertanyaan yang tidak dapat diinterpretasikan, mereka sering hanya default ke hasil web.

Untuk menangani masalah khusus ini, para peneliti Google memungkinkan algoritma mereka untuk melacak konteks percakapan, yang berarti bahwa ia dapat menghasilkan jawaban spesifik. Model yang digunakan adalah encoder yang memproses apa yang telah dikatakan dalam percakapan dan decoder yang membuat respon berdasarkan konteks. Model tersebut dilatih pada data spesifik dan non-spesifik. Data spesifik adalah kata-kata yang erat terkait dengan pernyataan sebelumnya. Seperti yang dijelaskan oleh posting Google:

“Misalnya, jika A mengatakan, ‘Saya suka tenis,’ dan B merespons, ‘Itu bagus,’ maka kalimat tersebut harus ditandai, ‘tidak spesifik’. Respon itu bisa digunakan dalam beberapa konteks yang berbeda. Tapi jika B merespons, ‘Saya juga, saya tidak bisa mendapatkan cukup dari Roger Federer!’, maka itu ditandai sebagai ‘spesifik’ karena terkait erat dengan apa yang dibahas.

Data yang digunakan untuk melatih model terdiri dari tujuh “putaran” dalam percakapan. Selama pelatihan, model memiliki 2,6 miliar parameter yang memeriksa 341 GB data teks untuk pola, dataset sekitar 8,5 kali lebih besar dari dataset yang digunakan untuk melatih model GPT-2 yang dibuat oleh OpenAI.

Google melaporkan bagaimana Meena berkinerja pada metrik Rata-Rata Sensibleness dan Spesifisitas (SSA). SSA adalah metrik yang dirancang oleh peneliti Google dan dimaksudkan untuk mengukur kemampuan entitas percakapan untuk merespons dengan respon yang spesifik dan relevan saat percakapan berlangsung.

Skor SSA dihitung dengan menguji model melawan sejumlah prompt tetap, dan jumlah respon yang masuk akal yang model berikan dilacak. Skor model diturunkan berdasarkan persentase respon yang masuk akal/spesifik yang model dapat berikan dengan respect kepada prompt. Respon generik dikenakan penalti. Menurut Google, orang rata-rata mencetak sekitar 86% pada SSA, sedangkan Meena dapat mencetak 79%. Model AI lain yang terkenal, agen yang dibuat oleh Pandora Bots, memenangkan Loebner Prize atas pengakuan bahwa bot AI mereka mencapai komunikasi yang mirip manusia. Agen Pandora Bots mencapai sekitar 56% dalam tes SSA.

Microsoft dan Amazon juga berusaha membuat chatbot yang lebih fleksibel dan alami. Microsoft telah berusaha menciptakan dialog multiturn dalam chatbot selama dua tahun, mengakuisisi Semantic Machines, sebuah startup AI, untuk meningkatkan Cortana. Amazon baru-baru ini menjalankan Alexa Prize challenge, yang meminta peserta untuk merancang bot yang dapat melakukan percakapan selama sekitar 20 menit.