Dönüştürücü Etkisi: Makine Çevirisi Çözüldü mü?

Google最近 olarak 2022 yılında başlatılan 1000 dil girişiminin bir parçası olarak Google Translate’de 110 yeni dilin yayınlandığını açıkladı. 2022 yılında, başlangıçta 24 dil eklemişti. Son 110 dil ile birlikte şimdi 243 dil var. Bu hızlı genişleme, makine öğrenimi modellerinin önceden örnekler olmadan başka bir dile çevirmeyi öğrenmesine olanak tanıyan Sıfır Atış Makine Çevirisi teknolojisi sayesinde mümkün oldu. Ancak gelecekte bu ilerlemenin makine çevirisi zorluğuna ultimate çözüm olup olmadığını birlikte göreceğiz ve bu arada bunu nasıl gerçekleştirebileceğimizi keşfedebiliriz. Ancak önce hikayesini anlatmak gerekiyor.

Önceden Nasılydı?

İstatistiksel Makine Çevirisi (SMT)

Bu, Google Translate’in kullandığı orijinal yöntemdi. İstatistiksel modellere dayanıyordu. Büyük paralel corpora, hizalanmış cümle çevirileri koleksiyonlarını analiz ederek en olası çevirileri belirledi. İlk olarak sistem metni İngilizce’ye çevirdi ve ardından hedef dile çevirdi ve Birleşmiş Milletler ve Avrupa Parlamentosu kayıtlarından kapsamlı veri setleriyle cümleleri karşılaştırmak zorunda kaldı. Geleneksel yaklaşımlardan farklıydı ve bu geleneksel yaklaşımlar, nhanh bir şekilde tamamen gereksiz hale gelebilecek statik dilbilgisi kurallarını derlemek gerektiriyordu. Ve istatistiksel yaklaşımı, statik dilbilgisi çerçevelerine bağlı olmadan veri üzerinden uyarlanmasına ve öğrenmesine izin verdi.

Ancak bu yaklaşımın bazı dezavantajları da var. İlk olarak Google Translate, cümleleri bireysel olarak çeviren frase tabanlı çeviri kullandı. Bu, kelime kelime çeviriye göre bir ilerleme idi, ancak stilleri ve bağlam hataları gibi sınırlamaları vardı. Tam olarak nüansları anlamıyordu. Ayrıca, İstatistiksel Makine Çevirisi, paralel corpora’ya büyük ölçüde bağımlı ve nispeten nadir bir dil, yeterli paralel veriye sahip olmadığı için çevirmek zor olacaktı.

Sinirsel Makine Çevirisi (NMT)

2016 yılında Google, Sinirsel Makine Çevirisi’ne geçti. Bu, derin öğrenme modellerini kullanarak tüm cümleleri bir bütün olarak ve aynı anda çeviren, daha akıcı ve doğru çeviriler sunan bir yöntemdir. NMT, bilgisayarınız中的 bir sofistike çok dilli asistan gibi çalışır. Sıra-sıra (seq2seq) mimarisi kullanan NMT, bir cümleyi anlamak için bir dildedeki bir cümleyi işler. Ardından – başka bir dildedeki karşılık gelen cümleyi üretir. Bu method, İstatistiksel Makine Çevirisinin büyük paralel corpora’ları analiz eden istatistiksel modellere dayanmasına karşılık, büyük veri setleri için öğrenme kullanır. İstatistiksel Makine Çevirisinin frase tabanlı çeviriye odaklandığı ve dilbilgisi kuralları ve sözlükler geliştirmek için çok el emeği gerektirdiği halde, NMT’nin tüm kelime dizilerini işleme gücü, dilin nüanslı bağlamını daha etkili bir şekilde yakalamasına olanak tanır. Böylece, çeşitli dil çiftleri arasında çeviri kalitesini geliştirdi ve souvent insan çevirmenlere benzer seviyelerde akıcılık ve doğruluk elde etti.

Aslında, geleneksel NMT modelleri, sıralı veri işleme için tasarlanan RNN’leri (Recurrent Neural Networks) – core mimari olarak kullandı. Bu, her yeni girdi (kelime veya token) işlendiğinde gelişen bir gizli durum tarafından sağlanan bir tür hafıza olarak hizmet eder ve modelin zaman içinde bağımlılıkları öğrenmesine izin verir. Ancak, RNN’ler hesaplama açısından pahalı ve etkili bir şekilde paralelleştirme açısından sınırlıydı, bu da ölçeklenebilirliklerini sınırlıyordu.

Dönüştürücülerin Tanıtımı

2017 yılında Google Research, “Dikkat Tüm İhtiyacınız” başlıklı bir makale yayınladı ve dönüştürücileri dünyaya tanıttı, bu da RNN’lerden neural ağ mimarisinde bir dönüşümden yana önemli bir adımdı.

Dönüştürücüler, yalnızca dikkat mekanizmasına dayanır – self-attention, bu da sinirsel makine çevirisi modellerinin girdileri dizileri中的 en kritik kısımlarına seçici olarak odaklanmasına olanak tanır. RNN’lerin aksine, cümleler içindeki kelimeleri sıralı bir şekilde işleyen, self-attention her bir token’ı tüm metin boyunca değerlendirir ve anlamak için hangilerinin kritik olduğunu belirler. Bu, tüm kelimelerin aynı anda hesaplanması, dönüştürücilerin hem kısa hem de uzun menzilli bağımlılıkları etkili bir şekilde yakalamasına ve yinelemeli bağlantıları veya konvolüsyonel filtreleri kullanmaksızın izin verir.

Bu nedenle, yinelemeyi ortadan kaldırarak, dönüştürücüler beberapa ana avantajlar sağlar:

• Paralelleştirme: Dikkat mekanizmaları, modern donanım gibi GPU’lar üzerinde dizinin farklı segmentleri boyunca paralel olarak hesaplanabilir, bu da eğitimi hızlandırır.
• Eğitim Verimliliği: Ayrıca, geleneksel RNN tabanlı veya CNN tabanlı modellere kıyasla önemli ölçüde daha az eğitim süresi gerektirir ve makine çevirisi gibi görevlerde daha iyi performans sağlar.

Sıfır Atış Makine Çevirisi ve PaLM 2

2022 yılında Google, Sıfır Atış Makine Çevirisi kullanarak 24 yeni dilin desteğini açıkladı, bu da makine çevirisi teknolojisi中的 önemli bir kilometre taşıydı. Ayrıca, dünyanın 1000 en çok konuşulan dilini desteklemek amacıyla 1.000 Diller Girişimini duyurdular. Şimdi 110 daha dil yayınladılar. Sıfır atış makine çevirisi, kaynak ve hedef diller arasında paralel veriye ihtiyaç duymadan çeviri yapılmasına olanak tanır, bu da daha önce maliyetli ve zaman alıcı bir süreçti ve bazı dil çiftleri için imkansızdı.

Bu ilerleme, dönüştürücülerin mimarisi ve self-attention mekanizmalarının bir sonucu olarak mümkün oldu. Dönüştürücü modelinin diller arasında bağlamsal ilişkileri öğrenme yeteneği, aynı zamanda birden fazla dili aynı anda işleme ölçeği, daha verimli ve etkili çok dilli çeviri sistemlerinin geliştirilmesini sağladı. Ancak, sıfır atış modelleri genellikle paralel verilere dayalı olarak eğitilen modellere kıyasla daha düşük kaliteli sonuçlar verir.

Dönüştürücülerin ilerlemesine dayanarak, Google 2023 yılında PaLM 2yi tanıttı, bu da 2024 yılında 110 yeni dilin yayınlanmasına yol açtı. PaLM 2, Awadhi ve Marwadi (Hindi’ye bağlı) ve Seychellois ve Mauritian Creole gibi Fransızca kreoller gibi yakından ilgili dilleri öğrenme yeteneğini önemli ölçüde geliştirdi. PaLM 2’deki geliştirmeler, chẳng hạn compute-optimal ölçeklendirme, geliştirilmiş veri setleri ve rafine tasarım – daha verimli dil öğrenimi sağladı ve Google’ın dil desteğini daha iyi hale getirmeye ve çeşitlendirmeye yönelik devam eden çabalarını destekledi.

Makine Çevirisi Zorluğunu Dönüştürücüler ile Tamamen Çözüldü mü?

Bu konuda konuştuğumuz evrim, Google’ın İstatistiksel Makine Çevirisi’ni benimsemesinden bu yana 18 yıl geçti ve son 110 dil Sıfır Atış Makine Çevirisi kullanılarak eklendi. Bu, endüstrinin yaklaşık iki thập kỷdır takip ettiği vehistorically çok emek yoğun bir görev olan kapsamlı paralel corpora toplama ihtiyacını azaltabilecek bir ilerleme temsil ediyor. Ancak, makine çevirisi完全 olarak çözüldü diyebiliriz, teknik ve etik dikkate almazsak aceleci oluruz.

Mevcut modeller masih bağlam ve tutarlılık ile mücadele ediyor ve niyet ettiğiniz metnin anlamını değiştirebilecek ince hatalar yapıyor. Bu sorunlar, mantıksal akışı korumanın ve nüansları anlamak gerektiğini daha uzun ve karmaşık cümlelerde daha belirgin hale geliyor. Ayrıca, kültürel nüanslar ve ıdjomatik ifadeler sık sık kayboluyor veya anlamlarını kaybediyor, bu da gramer olarak doğru ancak doğal olmayan veya amaçlanan etkiye sahip olmayan çevirilere neden oluyor.

Ön Eğitimi Verileri: PaLM 2 ve benzeri modeller, önceki PaLM’den daha kapsamlı bir çok dilli metin corpora’sına dayanarak ön eğitimi görür. Bu, PaLM 2’yi çok dilli görevlerde excelleme yeteneği ile donatır ve çevirme kalitesini iyileştirmek için geleneksel veri setlerinin önemini vurgular.

Alan-Spesifik veya Nadir Diller: Özel alanlarda, chẳng hạn hukuk, tıp veya teknik alanlarda, paralel corpora, modellerin spesifik terminolojileri ve dil nüanslarını karşılaştığından önemlidir. İleri modeller, alan spesifik jargon veya gelişen dil trendleri ile mücadele edebilir, bu da Sıfır Atış Makine Çevirisi için zorluklar oluşturur. Ayrıca, Düşük Kaynaklı Diller, yeterli veri olmadığı için doğru modelleri eğitmek için hala zorluklarla karşı karşıyadır.

Ölçütleme: Paralel corpora, çevirme modeli performansını değerlendirme ve ölçme için hala gereklidir, özellikle yeterli paralel corpora verisine sahip olmayan diller için zorluklar oluşturur. Otomatik ölçütler seperti BLEU, BLERT ve METEOR, gramer dışında çevirme kalitesindeki nüansları değerlendirmede sınırlamalara sahiptir. Ancak, biz insanlar da önyargılıyız. Ayrıca, her dil çifti için hataları yakalamak amacıyla mükemmel bir bilingual değerlendirici bulmak zor ve bu tür değerlendiriciler çok fazla değil.

Kaynak Yoğunluğu: LLM’lerin eğitimi ve dağıtımı hala kaynak yoğun bir doğaya sahiptir, bu da bazı uygulamalar veya organizasyonlar için erişimi sınırlayan bir engel oluşturur.

Kültürel Koruma. Etik boyut derin. Google Translate Araştırma Bilimcisi Isaac Caswell, Sıfır Atış Makine Çevirisini şöyle tanımlıyor: “Onu çok dilli bir kişi olarak düşünebilirsiniz. Ve sonra ayrıca, çevrilmeyen 1.000 dilde metinleri görür. Bir başka dildeki romanları okumaya başladığınızı hayal edebilirsiniz, ve dilin genel bilginizle birlikte ne anlama gelebileceğini parçalayabilirsiniz.” Ancak, paralel corpora’ya sahip olmayan azınlık dilleri üzerindeki uzun vadeli etkiye dikkat etmek önemlidir, bu da dilin kendisinden uzaklaşmaya ve kültürel koruma üzerinde olumsuz bir etkiye sahip olabilir.