Baidu Mengalahkan Google dan Microsoft, Menciptakan Teknik Baru untuk Pemahaman Bahasa

Baidu, salah satu perusahaan teknologi terbesar di Cina, baru-baru ini mengembangkan metode baru untuk mengajar AI memahami bahasa. Seperti yang dilaporkan oleh TechnologyReview, perusahaan tersebut baru-baru ini mengalahkan Microsoft (MSFT ) dan Google (GOOGL ) di kompetisi General Language and Understanding Evaluation (GLUE), mencapai hasil yang sangat baik.

GLUE terdiri dari sembilan tes yang berbeda, dengan setiap tes mengukur tugas yang berbeda penting untuk memahami bahasa, seperti membedakan nama entitas dalam kalimat dan membedakan konteks kata ganti “itu” ketika ada banyak kandidat potensial. Rata-rata manusia biasanya mencetak sekitar 87 poin di GLUE, dari total 100 poin. Model baru Baidu, ERNIE, melampaui ambang batas 90 poin.

Peneliti selalu berusaha untuk meningkatkan kinerja model mereka di GLUE, dan oleh karena itu, standar saat ini yang ditetapkan oleh Baidu kemungkinan akan segera dilampaui. Namun, apa yang membuat prestasi Baidu patut diperhatikan adalah bahwa pendekatan pembelajaran yang mereka gunakan tampaknya dapat digeneralisasi ke bahasa lain. Meskipun model tersebut dikembangkan untuk menafsirkan bahasa Cina, prinsip yang sama membuatnya lebih baik dalam menafsirkan bahasa Inggris. ERNIE singkatan dari “Enhanced Representation through knowledge Integration”, dan mengikuti pengembangan model bahasa BERT (“Bidirectional Encoder Representations from Transformers”).

BERT menetapkan standar baru untuk pemahaman bahasa karena merupakan model bidireksional. Model bahasa sebelumnya hanya dapat menafsirkan data yang mengalir dalam satu “arah”, melihat kata yang datang sebelum atau setelah kata target sebagai konteks. BERT dapat mengimplementasikan pendekatan bidireksional yang dapat menggunakan kata-kata sebelum dan setelah kata target untuk membantu menentukan makna kata target. BERT menggunakan teknik yang disebut masking untuk membuat analisis bidireksional memungkinkan, memilih kata dalam kalimat dan menyembunyikannya, yang membagi konteks yang mungkin untuk kata itu menjadi petunjuk konteks sebelum dan sesudah.

Dalam bahasa Inggris, kata adalah unit semantik yang dominan, orang melihat kata-kata secara keseluruhan daripada karakter individual untuk menentukan makna. Memungkinkan untuk menghapus kata dari konteksnya dan masih memiliki kata itu mempertahankan maknanya, dan makna karakter individual hampir selalu sama. Sebaliknya, bahasa Cina sangat bergantung pada bagaimana karakter-karakter dicocokkan dengan karakter lain ketika menentukan makna. Karakter dapat memiliki makna yang berbeda tergantung pada karakter-karakter di sekitarnya.

Tim peneliti Baidu pada dasarnya mengambil model yang digunakan BERT dan memperluasnya, menyembunyikan string karakter bukan kata-kata lengkap. Sistem AI juga dilatih untuk membedakan antara string acak dan string bermakna agar string karakter yang tepat dapat disembunyikan. Ini membuat ERNIE mahir dalam mengambil informasi dari dokumen teks dan melakukan terjemahan mesin. Tim peneliti juga menemukan bahwa metode pelatihan mereka juga menghasilkan model yang dapat membedakan frasa Inggris lebih baik daripada banyak model lain. Ini karena bahasa Inggris terkadang, meskipun jarang, menggunakan kombinasi kata yang mengekspresikan makna yang berbeda ketika mereka digabungkan daripada ketika mereka sendiri. Nama yang tepat dan idiom atau kolokialisme, seperti “chip off the old block” adalah contoh fenomena linguistik seperti itu.

ERNIE menggunakan beberapa teknik pelatihan lain untuk mengoptimalkan kinerja, termasuk menganalisis urutan kalimat dan jarak ketika menafsirkan paragraf. Metode pelatihan kontinu juga digunakan, yang memungkinkan ERNIE untuk melatih data baru dan mempelajari pola baru tanpa melupakan pengetahuan yang telah diperoleh sebelumnya.

Baidu saat ini menggunakan ERNIE untuk meningkatkan kualitas hasil pencarian. Arsitektur terbaru ERNIE akan dirinci dalam makalah yang akan disajikan pada konferensi Asosiasi untuk Kemajuan Kecerdasan Buatan 2020.