Chatbot Meena Baru Google Dapat Mengadakan Percakapan yang Masuk Akal dan Spesifik Tentang Hampir Apa Saja

Sebagus dan seberguna apa pun asisten virtual seperti Siri, Alexa, dan Google Assistant, kemampuan percakapan mereka biasanya terbatas pada menerima perintah tertentu dan mengirimkan respons yang telah ditentukan sebelumnya. Perusahaan seperti Google dan Amazon (AMZN ) telah mencari metode pelatihan dan pengembangan AI yang dapat membuat chatbot AI lebih kuat dan fleksibel, sehingga dapat melakukan percakapan dengan pengguna dengan cara yang lebih alami. Seperti dilaporkan oleh DigitalTrends, Google baru-baru ini menerbitkan sebuah makalah yang menunjukkan kemampuan chatbot baru mereka, yang disebut “Meena”. Menurut sebuah posting blog dari peneliti, Meena dapat berpartisipasi dalam percakapan dengan penggunanya tentang hampir semua topik.

Meena adalah chatbot domain-terbuka, yang berarti bahwa ia merespons konteks percakapan sehingga dan menyesuaikan dengan input untuk memberikan respons yang lebih alami. Sebagian besar chatbot lainnya adalah domain-tertutup, yang berarti bahwa respons mereka berpusat pada ide-ide tertentu dan terbatas pada menyelesaikan tugas-tugas tertentu.

Menurut laporan Google, fleksibilitas Meena adalah hasil dari dataset pelatihan yang besar. Meena dilatih pada sekitar 40 miliar kata yang diambil dari percakapan media sosial dan disaring untuk kata-kata yang paling relevan dan representatif. Google bertujuan untuk menangani beberapa masalah yang ditemukan pada kebanyakan asisten suara, seperti kemampuan untuk menangani topik dan perintah yang berkembang selama beberapa putaran percakapan, dengan pengguna yang memberikan input tambahan setelah bot merespons input sebelumnya. Ini berarti bahwa banyak chatbot tidak dapat meminta klarifikasi pengguna dan ketika ada pertanyaan yang tidak dapat diinterpretasikan, mereka sering kali hanya beralih ke hasil pencarian web.

Untuk menangani masalah khusus ini, peneliti Google memungkinkan algoritma mereka untuk melacak konteks percakapan, yang berarti bahwa ia dapat menghasilkan jawaban spesifik. Model yang digunakan adalah pengkode yang memproses apa yang telah dikatakan dalam percakapan dan pengkode yang membuat respons berdasarkan konteks. Model tersebut dilatih pada data spesifik dan non-spesifik. Data spesifik adalah kata-kata yang terkait erat dengan pernyataan sebelumnya. Seperti yang dijelaskan oleh posting blog Google:

“Misalnya, jika A mengatakan, ‘Saya suka tenis,’ dan B merespons, ‘Itu bagus,’ maka kalimat tersebut harus ditandai, ‘tidak spesifik’. Respons tersebut dapat digunakan dalam beberapa konteks yang berbeda. Tapi jika B merespons, ‘Saya juga, saya tidak bisa mendapatkan cukup dari Roger Federer! ‘, maka itu ditandai sebagai ‘spesifik’ karena terkait erat dengan apa yang dibicarakan.

Data yang digunakan untuk melatih model terdiri dari tujuh “putaran” dalam percakapan. Selama pelatihan, model memiliki 2,6 miliar parameter yang memeriksa 341 GB data teks untuk pola, dataset sekitar 8,5 kali lebih besar dari dataset yang digunakan untuk melatih model GPT-2 yang dibuat oleh OpenAI.

Google melaporkan bagaimana Meena berperforma pada metrik Rata-Rata Sensibilitas dan Spesifisitas (SSA). SSA adalah metrik yang dirancang oleh peneliti Google dan dimaksudkan untuk mengukur kemampuan entitas percakapan untuk merespons dengan respons yang relevan dan spesifik saat percakapan berlangsung.

Skor SSA dihitung dengan menguji model terhadap sejumlah prompt tetap, dan jumlah respons yang masuk akal yang diberikan model dilacak. Skor model diturunkan berdasarkan persentase respons yang masuk akal/spesifik yang dapat diberikan model terhadap prompt. Respons generik dikenakan penalti. Menurut Google, orang rata-rata mencetak sekitar 86% pada SSA, sedangkan Meena dapat mencetak 79%. Model AI lain yang terkenal, agen yang dibuat oleh Pandora Bots, memenangkan Loebner Prize atas pengakuan bahwa bot AI mereka mencapai komunikasi yang mirip dengan manusia. Agen Pandora Bots mencapai sekitar 56% pada tes SSA.

Microsoft (MSFT ) dan Amazon juga berusaha untuk membuat chatbot yang lebih fleksibel dan alami. Microsoft telah mencoba membuat dialog multi-giliran pada chatbot selama dua tahun, dengan mengakuisisi Semantic Machines, sebuah startup AI, untuk meningkatkan Cortana. Amazon baru-baru ini mengadakan Alexa Prize challenge, yang mendorong peserta untuk merancang bot yang dapat berbicara selama sekitar 20 menit.