Jejak Karbon Tinggi dari Model Penerjemahan Otomatis Jerman

Penelitian baru tentang jejak karbon yang dihasilkan oleh model penerjemahan mesin pembelajaran menunjukkan bahwa bahasa Jerman mungkin merupakan bahasa paling intensif karbon untuk dilatih, meskipun belum sepenuhnya jelas mengapa. Laporan baru ini dimaksudkan untuk membuka jalur penelitian tambahan tentang metode pelatihan AI yang lebih efisien karbon, dalam konteks kesadaran yang meningkat tentang seberapa besar sistem pembelajaran mesin mengonsumsi listrik.

Makalah pra-cetak ini berjudul Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation, dan berasal dari peneliti di Institut Teknologi Manipal, India.

Penulis menguji waktu pelatihan dan menghitung nilai emisi karbon untuk berbagai model penerjemahan bahasa yang mungkin, dan menemukan ‘kesenjangan yang mencolok’ antara waktu yang dibutuhkan untuk menerjemahkan tiga pasangan bahasa yang paling intensif karbon, dan tiga model yang paling ekonomis karbon.

Rata-rata emisi karbon yang dilepaskan selama 10 epoch pelatihan. Di sebelah kiri, hasil menggunakan ConvSeq (lihat di bawah), di sebelah kanan, Transformers. Sumber: https://arxiv.org/pdf/2109.12584.pdf

Makalah ini menemukan bahwa pasangan bahasa yang paling ‘ekologis’ untuk dilatih adalah Inggris>Perancis, Perancis>Inggris, dan, secara paradoks, Jerman ke Inggris, sedangkan Jerman muncul di semua pasangan yang mengonsumsi karbon tertinggi: Perancis>Jerman, Inggris>Jerman, dan Jerman>Perancis.

Bunga Majemuk

Temuan ini menunjukkan bahwa keragaman leksikal ‘secara langsung proposional dengan waktu pelatihan untuk mencapai tingkat kinerja yang memadai’, dan mencatat bahwa bahasa Jerman memiliki skor keragaman leksikal tertinggi di antara tiga bahasa yang diuji, seperti yang diperkirakan oleh Type-Token Ratio (TTR) – sebuah pengukuran ukuran kosakata berdasarkan panjang teks.

Tuntutan yang meningkat untuk memproses Jerman dalam model penerjemahan tidak tercermin dalam data sumber yang digunakan untuk eksperimen. Bahkan, token bahasa Jerman yang dihasilkan dari data sumber memiliki token yang lebih sedikit (299445) daripada Inggris (320108), dan jauh lebih sedikit daripada Perancis (335917).

Tantangan, dari sudut pandang Pemrosesan Bahasa Alami (NLP), adalah untuk memecah kata majemuk Jerman menjadi kata-kata yang membentuknya. Sistem NLP sering harus melakukan ini untuk Jerman tanpa ada petunjuk gramatikal atau kontekstual yang dapat ditemukan dalam bahasa dengan skor TTR yang lebih rendah, seperti Inggris. Proses ini disebut compound splitting atau decompounding.

Bahasa Jerman memiliki beberapa kata individual terpanjang di dunia, meskipun pada tahun 2013 itu kehilangan pengakuan resmi dari mantan pemegang rekor 65 karakter, yang cukup panjang untuk memerlukan barisnya sendiri dalam artikel ini:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Kata ini merujuk pada undang-undang yang mengatur pengawasan label daging sapi, tetapi kehilangan keberadaannya karena perubahan regulasi Eropa pada tahun itu, mengakui tempatnya kepada kata-kata lain yang populer, seperti ‘janda kapten perusahaan kapal uap Danube’ (49 karakter):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

Secara umum, struktur sintaksis Jerman memerlukan penyimpangan dari asumsi urutan kata yang mendasari praktik NLP dalam banyak bahasa Barat, dengan kerangka kerja NLP spaCY yang populer (berbasis Berlin) mengadopsi bahasa aslinya pada tahun 2016.

Pemetaan proyektif dalam frasa Inggris dan Jerman menunjukkan hubungan antara elemen leksikal dalam bahasa Jerman. Sumber: https://explosion.ai/blog/german-model

Data dan Pengujian

Untuk data sumber, peneliti menggunakan dataset Multi30k, yang berisi 30.000 sampel di seluruh bahasa Perancis, Jerman, dan Inggris.

Model pertama yang digunakan oleh peneliti adalah Convolutional Sequence to Sequence ( ConvSeq ) dari Facebook AI pada tahun 2017, sebuah jaringan saraf yang berisi lapisan konvolusi tetapi tidak memiliki unit berulang, dan sebagai gantinya menggunakan filter untuk menghasilkan fitur dari teks. Ini memungkinkan semua operasi untuk dilakukan secara paralel dengan cara yang komputasi yang efisien.

Pendekatan kedua menggunakan arsitektur Transformers yang berpengaruh dari Google, juga dari tahun 2017. Transformers menggunakan lapisan linier, mekanisme perhatian, dan rutinitas normalisasi. Memang, model asli yang dirilis telah menghadapi kritik karena ketidakefisienan karbon, dengan klaim bahwa perbaikan selanjutnya diperdebatkan.

Eksperimen dilakukan pada Google Colab, seragam pada Tesla K80 GPU. Bahasa dibandingkan menggunakan metrik skor BLEU (Bilingual Evaluation Understudy), dan CodeCarbon Machine Learning Emissions Calculator. Data dilatih selama 10 epoch.

Temuan

Peneliti menemukan bahwa itu adalah durasi pelatihan yang diperpanjang untuk pasangan bahasa Jerman yang menggeser keseimbangan ke konsumsi karbon yang lebih tinggi. Meskipun beberapa pasangan bahasa lain, seperti Inggris>Perancis dan Perancis>Inggris memiliki konsumsi karbon yang lebih tinggi, mereka dilatih lebih cepat dan diselesaikan dengan lebih mudah, dengan ledakan konsumsi ini digambarkan oleh peneliti sebagai ‘relatif tidak signifikan’ dalam kaitannya dengan konsumsi oleh pasangan bahasa yang mencakup Jerman.

Analisis pasangan bahasa oleh emisi pengkode/dekoder.

Peneliti menyimpulkan:

‘Temuan kami memberikan indikasi yang jelas bahwa beberapa pasangan bahasa lebih intensif karbon untuk dilatih daripada yang lain, sebuah tren yang berlanjut di berbagai arsitektur.’

Mereka melanjutkan:

‘Namun, masih ada pertanyaan yang belum terjawab tentang mengapa ada perbedaan yang sangat mencolok dalam melatih model untuk pasangan bahasa tertentu daripada yang lain, dan apakah arsitektur yang berbeda mungkin lebih sesuai untuk pasangan bahasa yang intensif karbon, dan mengapa ini akan menjadi kasus jika benar.’

Makalah ini menekankan bahwa alasan perbedaan konsumsi karbon di seluruh model pelatihan tidak sepenuhnya jelas. Mereka berharap mengembangkan garis penelitian ini dengan bahasa non-Latin.

1.20pm GMT+2 – Kesalahan teks diperbaiki.