Facebook Membuat Model Terjemahan Mesin yang Dapat Menerjemahkan Langsung Antara 100 Bahasa Berbeda

Facebook (META ) baru-baru ini mengembangkan model terjemahan mesin baru yang dapat menerjemahkan teks antara pasangan bahasa apa pun dari set 100 bahasa. Sementara sistem terjemahan mesin lainnya ada, sebagian besar sistem terjemahan AI lainnya beroperasi dengan menerjemahkan teks ke dalam bahasa Inggris terlebih dahulu, kemudian mengubah teks dari sana. Seperti yang dilaporkan oleh Engadget, AI translator Facebook beroperasi tanpa menggunakan bahasa Inggris sebagai perantara, dan dilaporkan dapat mencapai akurasi sekitar 90%.

Data pelatihan AI Facebook terdiri dari sekitar 7,5 miliar pasang kalimat, yang tersebar di 100 bahasa berbeda. Data tersebut dikompilasi dari web menggunakan serangkaian web crawler, dan bahasa yang ada dalam data yang dikumpulkan diidentifikasi menggunakan model bahasa yang disebut FastText. Setelah data dikumpulkan, data tersebut dijalankan melalui alat yang disebut LASER 2.0 untuk mengekstrak makna dari sampel kalimat yang berbeda dan mencocokkan kalimat dalam bahasa yang berbeda berdasarkan maknanya. LASER 2.0 dikembangkan oleh Facebook dan menggunakan algoritma pembelajaran tak terawasi untuk membuat embedding. Embedding kalimat berisi informasi tentang hubungan antara kalimat yang berbeda berdasarkan fitur seperti frekuensi penggunaan dan seberapa dekat kalimat muncul satu sama lain. LASER 2.0 kemudian dapat membuat pasangan kalimat yang memiliki makna yang sangat mirip.

Data pelatihan tidak hanya dipasangkan berdasarkan makna kalimat. Bahasa itu sendiri dikelompokkan bersama. Tujuannya adalah untuk merancang sistem yang tidak memerlukan bahasa Inggris sebagai medium antara dua bahasa, dengan Angela Fan dari Facebook, yang memimpin proyek, mencatat bahwa banyak wilayah di seluruh dunia berbicara dua bahasa yang tidak menggunakan bahasa Inggris. Insinyur Facebook melakukan pelatihan dengan fokus pada memasangkan bahasa yang umum diterjemahkan satu sama lain. Empat belas kelompok bahasa yang berbeda dibuat, berdasarkan variabel seperti budaya, kesamaan bahasa, dan geografi. Sebagai contoh, salah satu kelompok bahasa yang dibuat oleh peneliti berisi bahasa yang paling umum digunakan di India, termasuk bahasa Urdu, Tamil, Hindi, dan Bengali. Hal ini dilakukan agar pasangan bahasa yang umum dapat menerima terjemahan yang berkualitas tinggi.

Metode pelatihan yang berfokus pada kelompok bahasa ini menghasilkan beberapa hasil yang menarik. Ditemukan bahwa model terjemahan yang dihasilkan memiliki akurasi yang lebih tinggi daripada model yang ada saat ini untuk beberapa pasangan bahasa. Ketika menerjemahkan dari bahasa Inggris ke bahasa Belarusia, misalnya, AI dapat menerapkan pola yang telah dipelajari ketika menerjemahkan bahasa Rusia karena bahasa Belarusia memiliki kesamaan bahasa dengan bahasa Rusia. Demikian pula, upaya terjemahan antara bahasa Spanyol dan Portugis ditingkatkan karena bahasa Spanyol adalah bahasa yang paling banyak digunakan kedua dan ada volume data pelatihan yang substansial untuk tugas tersebut.

Terdapat sekitar enam puluh bahasa yang sistem terjemahan belum mencakup, dan akurasi model pada bahasa yang tidak memiliki banyak data pelatihan perlu ditingkatkan sebelum siap digunakan. Banyak bahasa di Asia Tenggara dan Afrika kekurangan volume data yang dibutuhkan untuk melatih model yang dapat diandalkan. Tim peneliti perlu menentukan cara untuk mengkompensasi kekurangan data ini. Tim peneliti juga perlu menentukan cara untuk mengontrol pola yang mungkin telah dipelajari oleh model yang rasialis, seksis, atau tidak sopan. Meskipun tim peneliti telah menggunakan filter profanitas, filter tersebut hanya berfungsi pada data bahasa Inggris.

Sistem terjemahan mesin belum digunakan pada platform media sosial Facebook. Model saat ini hanya untuk tujuan penelitian. Namun, Facebook sedang mempersiapkan untuk merancang model yang serupa dan memiliki mereka menangani sekitar 20 miliar permintaan terjemahan yang diterima situs setiap hari.