Almanca Otomatik Çeviri Modellerinin Yüksek Karbon Ayak İzi

Machine learning çevirme modelleri tarafından oluşturulan karbon ayak izine ilişkin yeni araştırmalar, Almanca’nın en karbon yoğun popüler dil olabileceğini gösteriyor, ancak bunun neden olduğu tam olarak net değil. Yeni rapor, artan elektrik tüketimi konusunda growing awareness bağlamında daha karbon verimli AI eğitim yöntemleri üzerine araştırmaları açmak amacıyla tasarlandı.

Ön baskı makalesi Karbon Emisyonlarınızı Kontrol Edin: Makine Çevirisi Karbon Emisyonlarının Benchmarklanması başlığını taşıyor ve Hindistan’ın Manipal Teknoloji Enstitüsü’nden araştırmacılardan geliyor.

Araştırmacılar, çeşitli olası dil çevirisi modelleri için eğitim sürelerini test etti ve karbon emisyon değerlerini hesapladı ve ‘önemli bir farklılık’ buldular. üç en karbon yoğun dil çifti ve üç en karbon ekonomisi modeli arasında.

10 epoch eğitim süresince ortalama karbon emisyonları. Solda, ConvSeq (aşağıya bakın) sonuçları, sağda, Transformers. Kaynak: https://arxiv.org/pdf/2109.12584.pdf

Makale, en ‘ekolojik’ dil çiftlerinin İngilizce>Fransızca, Fransızca>İngilizce ve paradoksal olarak Almanca>İngilizce olduğunu buldu, ancak Almanca, en yüksek tüketim gösteren çiftlerde yer alıyor: Fransızca>Almanca, İngilizce>Almanca ve Almanca>Fransızca.

Bileşik Faiz

Bulgular, leksikal çeşitliliğin ‘performans düzeyini elde etmek için eğitim süresine doğrudan orantılı’ olduğunu gösteriyor ve Almanca dilinin, Type-Token Ratio (TTR) – metin uzunluğuna dayalı sözcük büyüklüğü ölçümü – tarafından tahmin edilen üç test edilen dil arasında en yüksek leksikal çeşitlilik puanına sahip olduğunu belirtiyor.

Almanca’nın dil çevirisi modellerinde işlenmesinin artan talepleri, kullanılan kaynak verisinde yansıtılmıyor. Aslında, kaynak verilerden üretilen Almanca dil tokenleri, İngilizce (320108) ve Fransızca (335917)’den daha az türetilmiş tokenlere (299445) sahip.

Doğal Dil İşleme (NLP) açısından zorluk, Almanca’nın bileşik kelimelerini anlamlı kelimelere ayırmaktır. NLP sistemleri genellikle, İngilizce gibi daha düşük TTR puanına sahip dillerde bulunan ön-‘bölünmüş’ gramer veya bağlam ipuçları olmadan bunu yapmak zorundadır. Bu işlem bileşik ayırma veya dekompozisyon olarak adlandırılır.

Almanca dilinin dünyanın en uzun tek kelimelerinden bazılarına sahip olmasına rağmen, 2013 yılında 65 karakterlik eski rekorunun resmi olarak tanınmasını kaybetti, bu kelime bu makalede kendi satırına ihtiyaç duyuyor:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Kelime, sığır etiketleme denetimi delegasyon yasasına atıfta bulunuyor, ancak o yıl Avrupa düzenlemelerinde bir değişiklik nedeniyle varoluşunu kaybetti ve diğer popüler kelimelerin yerini aldı, örneğin ‘Danube buharlı gemi şirketinin kaptanının dul eşi’ (49 karakter):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

Genel olarak, Almanca’nın sentaktik yapısı, birçok batı dilinde NLP uygulamalarının temelini oluşturan kelime sırası varsayımlarından bir sapma gerektirir ve popüler (Berlin merkezli) spaCY NLP çerçevesi, 2016 yılında yerel dilini benimsemiştir.

İngilizce ve Almanca cümlelerdeki projektif eşlemeler, Almanca dilindeki leksikal öğeler arasındaki karmaşık ilişkileri gösterir. Kaynak: https://explosion.ai/blog/german-model

Veri ve Test

Araştırmacılar, kaynak verisi olarak Multi30k veri setini kullandı, bu veri seti Fransızca, Almanca ve İngilizce dillerinde 30.000 örnek içeriyor.

Araştırmacılar tarafından kullanılan ilk model, Facebook AI’nin 2017 Convolutional Sequence to Sequence (ConvSeq) idi, bu model convolutional katmanlara sahip bir sinir ağıdır, ancak yinelemeli birimler içermiyor ve bunun yerine metinden özellikler elde etmek için filtreler kullanıyor. Bu, tüm operasyonların hesaplamalı olarak paralel bir şekilde gerçekleşmesini sağlar.

Araştırmacıların kullandığı ikinci yaklaşım, Google’ ın etkili Transformers mimarisini içeriyordu, bu da 2017 yılından kalma. Transformers, lineer katmanlar, dikkat mekanizmaları ve normalize etme rutinleri kullanıyor. Aslında, orijinal model, karbon verimsizliği nedeniyle eleştirilere maruz kaldı ve daha sonraki geliştirmelerin tartışmalı olduğu iddia ediliyor.

Deneyler, Google Colab’da统 olarak Tesla K80 (TSLA ) GPU’da gerçekleştirildi. Diller, BLEU (Bilingual Evaluation Understudy) puanı ölçütü ve CodeCarbon Makine Öğrenimi Emisyonları Hesaplayıcısı kullanılarak karşılaştırıldı. Veriler 10 epoch boyunca eğitildi.

Bulgular

Araştırmacılar, Almanca ile ilgili dil çiftlerinin uzatılmış eğitim süresinin daha yüksek karbon tüketimine neden olduğunu buldu. Bazı diğer dil çiftleri, örneğin İngilizce>Fransızca ve Fransızca>İngilizce, daha yüksek karbon tüketimine sahip olsalar da, daha hızlı eğitildiler ve daha kolay çözüldüler, bu tüketim artışı araştırmacılar tarafından ‘göreceli olarak önemsiz’ olarak nitelendirildi.

Dil çiftleri tarafından kodlayıcı/decodlayıcı karbon emisyonlarının analizi.

Araştırmacılar şöyle diyor:

‘Bulgularımız, bazı dil çiftlerinin diğerlerinden daha karbon yoğun olduğunu net bir şekilde gösteriyor, bu eğilim farklı mimarilerde de devam ediyor.’

Araştırmacılar devam ediyor:

‘Ancak, belirli bir dil çifti için eğitim modellerinde neden böyle büyük farklılıklar olduğu ve bu dil çiftleri için daha uygun mimarilerin olup olmadığı soruları hala cevapsız kalıyor ve neden böyle olduğu da net değil.’

Makale, eğitim modelleri arasında karbon tüketimi farklılıklarının nedenlerinin tam olarak net olmadığını vurguluyor. Araştırmacılar, bu araştırma alanını Latin temelli olmayan dillerle geliştirmeyi planlıyorlar.

13.20 – Metin hatası düzeltildi.