Solusi Apple untuk Menerjemahkan Bahasa yang Bersifat Gender

Apple baru saja menerbitkan sebuah makalah, bekerja sama dengan USC, yang mengeksplorasi metode pembelajaran mesin yang digunakan untuk memberikan pengguna sistem operasi iOS18 lebih banyak pilihan tentang gender ketika menerjemahkan.

Di iOS18, pengguna dapat memilih saran gender alternatif untuk kata yang diterjemahkan di aplikasi Terjemahan asli. Sumber: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

Meskipun masalah yang diatasi dalam karya (yang Apple umumkan di sini) terlibat, sampai batas tertentu, dalam debat topikal saat ini tentang definisi gender, itu berfokus pada masalah yang jauh lebih tua: fakta bahwa 84 dari 229 bahasa yang diketahui di dunia menggunakan sistem gender berbasis kelamin.

Titik merah menunjukkan bahasa yang menggunakan sistem gender berbasis kelamin. Sumber: https://wals.info/feature/31A#map

Tidak terduga, bahasa Inggris jatuh ke dalam kategori berbasis kelamin, karena itu menetapkan kata ganti tunggal maskulin atau feminin.

Sebaliknya, semua bahasa Roman (termasuk lebih dari setengah miliar penutur Spanyol) – dan beberapa bahasa populer lainnya, seperti Rusia – memerlukan kesepakatan gender dengan cara yang memaksa sistem terjemahan untuk menangani penugasan kelamin dalam bahasa.

Makalah baru ini menggambarkan ini dengan mengamati semua terjemahan Spanyol yang mungkin dari kalimat Sekretaris itu marah dengan bos:

Dari makalah baru, contoh penugasan gender potensial dalam kalimat ‘Sekretaris itu marah dengan bos’, menerjemahkan dari Inggris ke Spanyol. Sumber: https://arxiv.org/pdf/2407.20438

Terjemahan yang tidak berpengalaman jauh dari cukup untuk teks yang lebih panjang, yang mungkin menetapkan gender di awal (‘Dia’, ‘Dia’, dll.) dan setelah itu tidak merujuk pada gender lagi. Namun, terjemahan harus mengingat penugasan gender yang ditetapkan dari partisipan seluruh teks.

Ini dapat menantang untuk pendekatan berbasis token yang menangani terjemahan dalam potongan diskrit, dan berisiko kehilangan konteks gender sepanjang durasi konten.

Lebih parah, sistem yang menyediakan terjemahan alternatif untuk penugasan gender yang bias tidak dapat melakukan ini secara sembarangan, yaitu dengan hanya menggantikan kata benda gender, tetapi harus memastikan bahwa semua bagian bahasa lainnya setuju dengan kata benda gender yang diubah.

Dalam contoh ini dari makalah Apple/USC, kita melihat bahwa meskipun Sekretaris telah ditetapkan sebagai gender maskulin, kata kerja tunggal adalah telah ditinggalkan sebagai feminin (adalah):

Penggantian gender yang kasar dapat mengabaikan kesepakatan gender yang diperlukan. Dalam contoh ini, kata ‘marah’ harus ‘marah’, untuk setuju dengan maskulin ‘Sekretaris’.

Sistem terjemahan juga harus menangani kekhasan bahasa tertentu dalam hal gender. Seperti yang disebutkan dalam makalah, kata ganti Aku memiliki gender dalam bahasa Hindi, yang memberikan petunjuk yang tidak biasa tentang gender.

Masalah Gender

Dalam makalah baru, yang berjudul Menghasilkan Alternatif Gender dalam Terjemahan Mesin, peneliti Apple dan USC mengusulkan metode semi-terawasi untuk mengubah entitas yang ambigu gender menjadi array alternatif tingkat entitas.

Sistem, yang digunakan untuk memandu terjemahan dari aplikasi Terjemahan Apple di iOS18, membangun skema bahasa dengan menggunakan model bahasa besar (LLM) dan fine-tuning model terjemahan mesin pra-terlatih yang terbuka.

Hasil dari terjemahan sistem ini kemudian dilatih ke dalam arsitektur yang berisi struktur gender – grup kalimat yang berisi berbagai bentuk kata benda yang berbeda gender yang mewakili entitas yang sama.

Makalah tersebut menyatakan*:

‘Bias gender yang ada dalam data pelatihan dikenal dapat berdarah ke sistem pemrosesan bahasa alami (NLP), menghasilkan penyebaran dan penguatan dari bias tersebut. Bias tersebut sering juga merupakan penyebab akar dari kesalahan.

‘Sistem terjemahan mesin (MT) mungkin, misalnya, menerjemahkan dokter ke dalam bahasa Spanyol (maskulin) bukan médica (feminin), diberikan input “Dokter itu meminta perawat untuk membantu dia dalam prosedur”.

‘Untuk menghindari menetapkan penugasan gender yang salah, sistem MT perlu membedakan gender melalui konteks. Ketika gender yang benar tidak dapat ditentukan melalui konteks, menyediakan alternatif terjemahan yang mencakup semua pilihan gender yang valid adalah pendekatan yang masuk akal.’

Pendekatan yang diusulkan oleh peneliti ini secara efektif mengubah terjemahan dari satu token menjadi array yang dikendalikan pengguna.

(Meskipun makalah tersebut tidak menyebutkannya, ini membuka kemungkinan, baik di Apple Translate atau di portal serupa yang menawarkan layanan terjemahan, untuk pilihan pengguna yang dapat diberikan kembali ke iterasi model selanjutnya)

Model yang dikembangkan oleh Apple dan USC dievaluasi pada GATE dan MT-GenEval set tes. GATE berisi kalimat sumber dengan hingga 3 entitas yang ambigu gender, sedangkan MT-GenEval berisi materi di mana gender tidak dapat disimpulkan, yang, menurut penulis, membantu memahami kapan alternatif gender tidak harus ditawarkan kepada pengguna.

Kedua set tes harus di-annotasi ulang, untuk selaras dengan tujuan proyek.

Untuk melatih sistem, peneliti tersebut menggunakan algoritma augmentasi data baru, berbeda dengan set tes yang disebutkan sebelumnya, yang diannotasi oleh manusia.

Dataset yang berkontribusi untuk kurasi Apple adalah Europarl; WikiTitles; dan WikiMatrix. Korpus ini dibagi menjadi G-Tag (dengan 12.000 kalimat), yang mencakup kalimat dengan kata utama untuk semua entitas, bersama dengan anotasi yang ambigu gender; dan G-Trans (dengan 50.000 kalimat), yang berisi entitas yang ambigu gender dan kesepakatan gender.

Penulis menyatakan*:

‘Menurut pengetahuan kami, ini adalah korpus besar pertama yang berisi ketidakjelasan gender dan bagaimana mereka mempengaruhi bentuk gender dalam terjemahan.’

Dataset dan data yang beragam untuk proyek ini telah dibuat tersedia di GitHub. Data ini menampilkan lima pasangan bahasa, memasangkan bahasa Inggris dengan bahasa Rusia, Jerman, Perancis, Portugis, dan Spanyol.

Penulis menggunakan pendekatan sebelumnya dari tahun 2019 untuk memberi model kemampuan untuk mengeluarkan kesepakatan gender, melatih dengan kerugian entropi silang dan kerugian keselarasan tambahan.

Untuk rutinitas augmentasi data, penulis menghindari metode berbasis aturan tradisional dengan mendukung pendekatan yang berfokus pada data, fine-tuning model bahasa pra-terlatih BERT pada dataset G-Tag.

Double-Take

Untuk kasus di mana entitas gender yang ambigu terdeteksi, Apple dan USC menjelajahi dua metode – fine-tuning model bahasa pra-terlatih, dan penggunaan LLM.

Mengenai metode pertama, makalah tersebut menyatakan:

‘Kami fine-tuning model MT pra-terlatih M pada bi-teks yang diekstrak dari dataset G-Trans. Kalimat sumber bi-teks ini berisi entitas yang ambigu, ditandai sebagai maskulin atau feminin menggunakan <M>/<F> tag, dan terjemahan target memiliki infleksi gender yang benar diberikan tag gender.’

Ilustrasi skema untuk mengekstrak bi-teks dari dataset G-Trans.

Di gambar di atas, kita melihat teks yang difine-tuning di kolom tengah bawah, dan output yang diinginkan di kolom kanan, dengan rasional yang mendasarinya diilustrasikan di atas.

Untuk pendekatan ini, penulis menggunakan metode lattice rescoring dari karya sebelumnya tahun 2020. Untuk memastikan bahwa hanya domain target (gender) yang ditangani, pencarian balok yang terbatas digunakan sebagai filter.

Untuk pendekatan LLM, penulis merancang strategi yang menggunakan LLM sebagai editor, dengan menulis ulang terjemahan yang disediakan untuk memberikan penugasan gender.

LLM dipicu menggunakan contoh dalam konteks untuk menetapkan gender.

Dengan hasil dari kedua pendekatan yang digabungkan, model kemudian difine-tuning untuk mengklasifikasikan token sumber sebagai terjalin (ditandai dengan ‘1’ dalam skema di bawah) atau tidak terjalin (ditandai dengan ‘2’ di bawah).

Skema untuk menggabungkan hasil dari kedua pendekatan.

Data dan Tes

Detektor entitas yang ambigu yang digunakan untuk proyek ini dikembangkan dengan fine-tuning model xlm-roberta-large dari Facebook AI, menggunakan transformer. Untuk ini, dataset G-Tag yang digabung digunakan di semua lima pasangan bahasa.

Di pendekatan pertama, model M2M 1.2B dilatih pada Fairseq, bersama dengan data bi-teks dari dataset G-Trans, dengan infleksi gender yang disediakan oleh Wiktionary.

Untuk pendekatan LLM, penulis menggunakan GPT-3.5-turbo. Untuk keselarasan struktur gender, xlm-roberta-large lagi digunakan, kali ini dengan keselarasan gender yang diekstrak dari G-Trans.

Metriks untuk evaluasi alternatif, struktur (dengan presisi dan recall), dan akurasi keselarasan.

Meskipun dua yang pertama ini cukup jelas, akurasi keselarasan mengukur persentase struktur gender output yang sesuai dengan identitas sumber yang benar, dan menggunakan metode δ-BLEU, sesuai dengan metodologi untuk MT-GenEval.

Di bawah ini adalah hasil untuk pipa augmentasi data:

Hasil dari tes pipa augmentasi data. Panah ke atas menunjukkan ‘lebih tinggi-lebih baik’, panah ke bawah ‘lebih rendah-lebih baik’.

Di sini penulis mengomentari*:

‘Kedua M2M dan GPT sebagian besar berkinerja sama, dengan pengecualian bahasa Inggris-Rusia, di mana GPT mencapai recall alternatif yang jauh lebih rendah (58,7 dibandingkan dengan 89,3). Kualitas struktur gender yang dihasilkan lebih baik untuk GPT pada bahasa Inggris-Jerman dan bahasa Inggris-Portugis, dan lebih baik untuk M2M pada bahasa Inggris-Spanyol dan bahasa Inggris-Rusia, seperti yang terlihat dari metriks struktur.

‘Perlu diingat bahwa kami tidak memiliki data G-Trans untuk bahasa Inggris-Italia, sehingga hasil model M2M dan akurasi keselarasan pada bahasa Inggris-Italia sepenuhnya karena generalisasi nol-tembakan dari model M2M dan XLM.’

Peneliti juga membandingkan kinerja pipa augmentasi data sistem, melalui M2M, melawan penulis tingkat kalimat GATE, pada istilah GATE sendiri.

Pipa augmentasi data Apple/USC dipasang melawan metode penulis tingkat kalimat GATE.

Di sini makalah tersebut menyatakan:

‘Kami melihat perbaikan yang signifikan dalam recall dengan biaya degradasi presisi yang relatif kecil (kecuali bahasa Inggris-Italia). Sistem kami dapat mengungguli GATE pada metrik F.5 yang diusulkan pada semua tiga pasangan bahasa.’

Akhirnya, penulis melatih model multilingual ‘vanilla’ yang beragam ke dalam ‘vanilla bi-teks’. Dataset yang berkontribusi adalah WikiMatrix, WikiTitles, Multi-UN, NewsCommentary, dan Tilde.

Dua model ‘vanilla’ tambahan dilatih, satu yang menggabungkan dataset G-Trans dengan tag <gender> yang diprefiks, yang digunakan sebagai baseline yang terawasi; dan yang ketiga, yang menggabungkan struktur gender dan keselarasan (pada model lokal yang lebih kecil, karena menggunakan layanan API GPT akan sangat mahal untuk tujuan ini).

Model-model ini diuji melawan dataset FloRes tahun 2022.

Model terjemahan mesin ‘vanilla’ ujung-ke-ujung diuji (P = presisi, R = recall).

Makalah tersebut merangkum hasil ini:

‘Model ‘vanilla’ tidak dapat menghasilkan alternatif dan menunjukkan bias besar untuk menghasilkan bentuk maskulin (δ-BLEU berkisar dari 5,3 hingga 12,5 poin).

‘Bias ini sangat berkurang oleh baseline yang terawasi. Model yang dilatih pada data yang diperkaya lebih lanjut mengurangi bias dan mencapai kinerja terbaik dalam hal metriks alternatif, akurasi keselarasan, dan δ-BLEU.

‘Hal ini menunjukkan efektivitas pipa augmentasi data. Data yang diperkaya juga memungkinkan kami untuk melatih sistem yang kompetitif untuk bahasa Inggris-Italia yang kekurangan data terawasi.’

Penulis menyimpulkan dengan mencatat bahwa keberhasilan model harus dipertimbangkan dalam konteks yang lebih luas dari perjuangan NLP untuk rasionalisasi penugasan gender dalam metode terjemahan; dan mereka mencatat bahwa ini tetap menjadi masalah terbuka.

Meskipun peneliti menganggap bahwa hasil yang diperoleh tidak sepenuhnya mencapai tujuan generasi terjemahan gender-netral tingkat entitas dan/atau disambiguasi mengenai gender, mereka percaya bahwa karya ini merupakan ‘instrumen yang kuat’ untuk eksplorasi masa depan ke salah satu area terjemahan mesin yang paling menantang.

* Terjemahan saya dari kutipan inline penulis ke tautan

Dipublikasikan pertama kali pada hari Selasa, 8 Oktober 2024