Dampak Transformer: Apakah Mesin Penerjemahan Telah Diselesaikan?

Google baru-baru ini mengumumkan peluncuran 110 bahasa baru di Google Translate sebagai bagian dari inisiatif 1000 bahasa yang diluncurkan pada 2022. Pada 2022, di awal mereka menambahkan 24 bahasa. Dengan 110 bahasa tambahan terbaru, sekarang sudah 243 bahasa. Ekspansi cepat ini memungkinkan karena Zero-Shot Machine Translation, teknologi di mana model pembelajaran mesin belajar menerjemahkan ke dalam bahasa lain tanpa contoh sebelumnya. Tapi, dalam waktu dekat kita akan melihat apakah kemajuan ini dapat menjadi solusi ultimate untuk tantangan penerjemahan mesin, dan sementara itu kita dapat mengeksplorasi cara-cara untuk mencapainya. Tapi, pertama-tama mari kita lihat ceritanya.

Bagaimana Dulu?

Statistical Machine Translation (SMT) 

Ini adalah metode asli yang digunakan oleh Google Translate. Ini bergantung pada model statistik. Mereka menganalisis korpus paralel besar, koleksi terjemahan kalimat yang diselaraskan, untuk menentukan terjemahan yang paling mungkin. Pertama, sistem menerjemahkan teks ke dalam bahasa Inggris sebagai langkah tengah sebelum mengubahnya menjadi bahasa target, dan perlu merujuk frasa dengan dataset ekstensif dari transkrip Perserikatan Bangsa-Bangsa dan Parlemen Eropa. Ini berbeda dengan pendekatan tradisional yang memerlukan kompilasi aturan tata bahasa yang menyeluruh. Dan pendekatan statistik memungkinkan untuk beradaptasi dan belajar dari data tanpa bergantung pada kerangka linguistik statis yang dapat dengan cepat menjadi tidak perlu.

Tapi, ada beberapa kelemahan pada pendekatan ini. Pertama, Google Translate menggunakan terjemahan berbasis frasa di mana sistem memecah kalimat menjadi frasa dan menerjemahkan secara individual. Ini adalah perbaikan dari terjemahan kata-per-kata, tapi masih memiliki keterbatasan seperti frasa yang tidak nyaman dan kesalahan konteks. Ini tidak sepenuhnya memahami nuansa seperti yang kita lakukan. Juga, SMT sangat bergantung pada memiliki korpus paralel, dan bahasa yang relatif jarang akan sulit diterjemahkan karena tidak memiliki cukup data paralel.

Neural Machine Translation (NMT)

Pada 2016, Google beralih ke Neural Machine Translation. Ini menggunakan model pembelajaran dalam untuk menerjemahkan kalimat secara keseluruhan dan sekaligus, memberikan terjemahan yang lebih lancar dan akurat. NMT beroperasi secara mirip dengan memiliki asisten multibahasa yang canggih di dalam komputer. Menggunakan arsitektur urutan-ke-urutan (seq2seq), NMT memproses kalimat dalam satu bahasa untuk memahami maknanya. Kemudian, menghasilkan kalimat yang sesuai dalam bahasa lain. Metode ini menggunakan dataset besar untuk pembelajaran, berbeda dengan Statistical Machine Translation yang bergantung pada model statistik yang menganalisis korpus paralel besar untuk menentukan terjemahan yang paling mungkin. Tidak seperti SMT, yang fokus pada terjemahan berbasis frasa dan memerlukan banyak upaya manual untuk mengembangkan dan memelihara aturan linguistik dan kamus, NMT memiliki kemampuan untuk memproses urutan kata secara keseluruhan, sehingga dapat menangkap nuansa konteks bahasa lebih efektif. Jadi, ini telah meningkatkan kualitas terjemahan di berbagai pasangan bahasa, sering mencapai tingkat kelancaran dan akurasi yang setara dengan penerjemah manusia.

Pada kenyataannya, model NMT tradisional menggunakan Jaringan Saraf Berulang (RNN) sebagai arsitektur inti, karena dirancang untuk memproses data berurutan dengan mempertahankan keadaan tersembunyi yang berkembang ketika setiap input baru (kata atau token) diproses. Keadaan tersembunyi ini berfungsi sebagai jenis memori yang menangkap konteks input sebelumnya, memungkinkan model untuk belajar ketergantungan dari waktu ke waktu. Tapi, RNN mahal secara komputasi dan sulit untuk diparalelkan secara efektif, yang membatasi seberapa besar skalabilitasnya.

Pengenalan Transformer 

Pada 2017, Google Research menerbitkan makalah berjudul “Attention is All You Need,” yang memperkenalkan transformer ke dunia dan menandai pergeseran penting dari RNN dalam arsitektur jaringan saraf.

Transformer hanya bergantung pada mekanisme perhatian, yaitu perhatian diri, yang memungkinkan model penerjemahan mesin saraf untuk fokus secara selektif pada bagian paling kritis dari urutan input. Tidak seperti RNN, yang memproses kata dalam urutan dalam kalimat, perhatian diri mengevaluasi setiap token di seluruh teks, menentukan mana yang penting untuk memahami konteksnya. Perhitungan simultan dari semua kata memungkinkan transformer untuk menangkap ketergantungan jangka pendek dan panjang tanpa bergantung pada koneksi berulang atau filter konvolusional.

Jadi, dengan menghilangkan keberulangan, transformer menawarkan beberapa keuntungan kunci:

• Paralelisasi: Mekanisme perhatian dapat menghitung secara paralel di seluruh segmen urutan, yang mempercepat pelatihan pada perangkat keras modern seperti GPU.
• Efisiensi Pelatihan: Mereka juga memerlukan waktu pelatihan yang jauh lebih singkat dibandingkan dengan model berbasis RNN atau CNN tradisional, memberikan kinerja yang lebih baik dalam tugas seperti penerjemahan mesin.

Zero-Shot Machine Translation dan PaLM 2

Pada 2022, Google merilis dukungan untuk 24 bahasa baru menggunakan Zero-Shot Machine Translation, menandai tonggak penting dalam teknologi penerjemahan mesin. Mereka juga mengumumkan Inisiatif 1.000 Bahasa, yang bertujuan untuk mendukung 1.000 bahasa yang paling banyak digunakan di dunia. Mereka sekarang telah meluncurkan 110 bahasa tambahan. Penerjemahan mesin zero-shot memungkinkan terjemahan tanpa data paralel antara bahasa sumber dan target, menghilangkan kebutuhan untuk membuat data pelatihan untuk setiap pasangan bahasa — proses yang sebelumnya mahal dan memakan waktu, dan untuk beberapa pasangan bahasa juga mustahil.

Kemajuan ini menjadi mungkin karena arsitektur dan mekanisme perhatian diri dari transformer. Kemampuan model transformer untuk mempelajari hubungan kontekstual di seluruh bahasa, sebagai kombinasi dengan kemampuan skalabilitasnya untuk menangani beberapa bahasa secara bersamaan, memungkinkan pengembangan sistem penerjemahan multibahasa yang lebih efisien dan efektif. Namun, model zero-shot umumnya menunjukkan kualitas yang lebih rendah daripada model yang dilatih pada data paralel.

Kemudian, membangun pada kemajuan transformer, Google memperkenalkan PaLM 2 pada 2023, yang membuka jalan untuk peluncuran 110 bahasa baru pada 2024. PaLM 2 secara signifikan meningkatkan kemampuan Translate untuk mempelajari bahasa yang terkait erat seperti Awadhi dan Marwadi (terkait dengan Hindi) dan kreol Perancis seperti Seychellois dan Mauritian Creole. Peningkatan dalam PaLM 2, seperti penskalaan komputasi yang optimal, dataset yang ditingkatkan, dan desain yang dirancang ulang—memungkinkan pembelajaran bahasa yang lebih efisien dan mendukung upaya Google yang berkelanjutan untuk membuat dukungan bahasa lebih baik dan lebih besar serta menampung nuansa linguistik yang beragam.

Apakah Kita Dapat Mengklaim bahwa Tantangan Penerjemahan Mesin Telah Diselesaikan dengan Transformer?

Evolusi yang kita bahas ini memakan waktu 18 tahun dari adopsi SMT oleh Google hingga 110 bahasa tambahan menggunakan Zero-Shot Machine Translation. Ini mewakili lompatan besar yang dapat mengurangi kebutuhan untuk mengumpulkan korpus paralel yang ekstensif—tugas yang secara historis dan sangat memakan waktu yang telah dikejar industri selama lebih dari dua dekade. Tapi, mengklaim bahwa penerjemahan mesin telah sepenuhnya diselesaikan akan terlalu dini, mengingat pertimbangan teknis dan etis.

Model saat ini masih bergelut dengan konteks dan koherensi dan membuat kesalahan halus yang dapat mengubah makna yang dimaksudkan untuk teks. Masalah-masalah ini sangat hadir dalam kalimat yang lebih panjang dan kompleks di mana mempertahankan aliran logis dan memahami nuansa diperlukan untuk hasil. Juga, nuansa budaya dan ekspresi idiomatis sering kehilangan atau kehilangan makna, menyebabkan terjemahan yang mungkin secara gramatikal benar tapi tidak memiliki dampak yang dimaksudkan atau terdengar tidak alami.

Data untuk Prapengajaran: PaLM 2 dan model serupa diprapengajar pada korpus teks multibahasa yang beragam, melampaui pendahulunya PaLM. Peningkatan ini memungkinkan PaLM 2 untuk unggul dalam tugas multibahasa, menekankan pentingnya dataset tradisional untuk meningkatkan kualitas terjemahan.

Bahasa Spesifik Domain atau Bahasa Langka: Di domain khusus seperti hukum, medis, atau teknis, korpus paralel memastikan model mengalami terminologi dan nuansa bahasa khusus. Model canggih mungkin bergelut dengan jargon domain khusus atau tren bahasa yang berkembang, menimbulkan tantangan bagi Zero-Shot Machine Translation. Juga, Bahasa dengan Sumber Daya Rendah masih diterjemahkan dengan buruk, karena tidak memiliki data yang diperlukan untuk melatih model yang akurat

Benchmarking: Korpus paralel tetap penting untuk mengevaluasi dan membandingkan kinerja model terjemahan, terutama menantang untuk bahasa yang tidak memiliki cukup data korpus paralel. Metrik otomatis seperti BLEU, BLERT, dan METEOR memiliki keterbatasan dalam menilai nuansa kualitas terjemahan selain tata bahasa. Tapi, kita manusia terhalang oleh bias kita. Juga, tidak banyak evaluator yang berkualifikasi di luar sana, dan menemukan evaluator bilingual yang sempurna untuk setiap pasangan bahasa untuk menangkap kesalahan halus.

Intensitas Sumber Daya: Sifat intensif sumber daya dari pelatihan dan penerapan LLM masih menjadi hambatan, membatasi aksesibilitas untuk beberapa aplikasi atau organisasi.

Pelestarian Budaya. Dimensi etis sangat mendalam. Seperti yang dijelaskan oleh Isaac Caswell, Ilmuwan Peneliti Google Translate, tentang Zero-Shot Machine Translation: “Anda dapat memikirkannya sebagai poliglot yang mengetahui banyak bahasa. Tapi, kemudian, Anda juga melihat teks dalam 1.000 bahasa lain yang tidak diterjemahkan. Anda dapat membayangkan jika Anda adalah poliglot besar, dan kemudian Anda mulai membaca novel dalam bahasa lain, Anda dapat mulai merangkai apa yang bisa dimaksudkan berdasarkan pengetahuan Anda tentang bahasa secara umum.” Namun, penting untuk mempertimbangkan dampak jangka panjang pada bahasa minor yang tidak memiliki korpus paralel, yang dapat memengaruhi pelestarian budaya ketika ketergantungan bergeser dari bahasa itu sendiri.