Dönüştürücü Etkisi: Makine Çevirisi Çözüldü mü?

Google最近110 yeni dilin Google Translate’e eklendiğini ve 2022’de başlatılan 1000 dil girişiminin bir parçası olduğunu açıkladı. 2022’de, başlangıçta 24 dil eklemişti. Son 110 dil ile birlikte şimdi 243 dil var. Bu hızlı genişleme, makine öğrenimi modellerinin başka bir dilde çeviri yapmadan önce örnekler olmadan öğrenmesini sağlayan Zero-Shot Makine Çevirisi teknolojisi sayesinde mümkün oldu. Ancak, bu ilerlemenin makine çevirisi zorluğunun tam olarak çözülüp çözülmediğini gelecekte birlikte göreceğiz ve bu arada bunu nasıl gerçekleştirebileceğimizi keşfedebiliriz. Ancak önce hikayesini anlatmak gerekiyor.

Önceden Nasılydı?

İstatistiksel Makine Çevirisi (SMT)

Bu, Google Translate’in kullandığı orijinal yöntemdi. İstatistiksel modellere dayanıyordu. Büyük paralel corpora, hizalanmış cümle çevirileri koleksiyonları analiz ederek en olası çevirileri belirledi. Sistem önce metni İngilizce’ye çevirdi ve sonra hedef dile çevirdi ve Birleşmiş Milletler ve Avrupa Parlamentosu metinlerinden kapsamlı veri setleriyle cümleleri karşılaştırmak zorundaydı. Geleneksel yaklaşımlardan farklıydı, çünkü bu yaklaşımlar eksiksiz dilbilgisi kurallarını derlemek gerektiriyordu. İstatistiksel yaklaşımı, statik dilbilgisi çerçevelerine dayanmadan veri üzerinden öğrenmesini ve uyum sağlamasını sağladı.

Ancak bu yaklaşımın bazı dezavantajları da vardır. İlk olarak Google Translate, cümleleri parçalara ayırarak çeviren bir sistem kullanıyordu. Bu, kelime kelime çeviriye göre bir iyileştirme olsa da, stilleri ve bağlam hataları gibi sınırlamaları vardı. Tam olarak anlama yeteneğine sahip değildi. Ayrıca, İstatistiksel Makine Çevirisi, paralel corpora’ya dayanıyordu ve nispeten nadir bir dil, yeterli paralel veri olmadığı için çeviri yapmak zor oluyordu.

Neural Makine Çevirisi (NMT)

2016’da Google, Neural Makine Çevirisi’ne geçti. Bu, tüm cümleleri bir bütün olarak ve aynı anda çeviren derin öğrenme modellerini kullanır ve daha akıcı ve doğru çeviriler sağlar. NMT, bilgisayarınızda bulunan gelişmiş bir çok dilli asistan gibi çalışır. Bir dildedeki bir cümleyi anlamak için sıralı bir yapı (seq2seq) kullanır ve sonra başka bir dilde karşılık gelen cümleyi oluşturur. Bu yöntem, İstatistiksel Makine Çevirisi’ne göre daha büyük veri setleri kullanır. İstatistiksel Makine Çevirisi, büyük paralel corpora’yı analiz eden istatistiksel modellere dayanıyordu. NMT, cümlelerin tamamını işleyerek dilin nüanslarını daha etkili bir şekilde yakalar. Böylece, çeşitli dil çiftleri için çeviri kalitesini iyileştirdi ve insan çevirmenlerle karşılaştırılabilir seviyelere ulaştı.

Aslında, geleneksel NMT modelleri, sıralı verileri işlemek için tasarlanan RNN’leri (Recurrent Neural Networks) temel mimari olarak kullanıyordu. Bu, her yeni girdinin (kelime veya token) işlenmesiyle birlikte gelişen bir gizli durum kullanıyordu. Bu gizli durum, önceki girdilerin bağlamını yakalayan bir tür bellek gibi davranıyordu ve modelin zaman içinde bağımlılıkları öğrenmesini sağlıyordu. Ancak RNN’ler, hesaplama açısından pahalı ve etkili bir şekilde paralelleştirilmesi zordu, bu da ölçeklenebilirliklerini sınırlıyordu.

Dönüştürücülerin Tanıtımı

2017’de Google Research, “Dikkat Her Şeydir” başlıklı bir makale yayınladı ve dönüştürücülerin tanıtımını yaptı. Bu, NMT’de RNN’lerden uzaklaşmayı işaret eden önemli bir adımdı.

Dönüştürücüler, sadece dikkat mekanizmasına dayanır – self-attention, bu da neural makine çevirisi modellerinin girdileri seçerek odaklanmasını sağlar. RNN’lerin aksine, cümledeki kelimeleri sırayla işleyen dönüştürücüler, her tokenı tüm metin boyunca değerlendirir ve anlamak için hangi diğer tokenların kritik olduğunu belirler. Bu aynı anda hesaplanan tüm kelimeler, dönüştürücülere, RNN’lerin veya convolutional filtrelerin gerektirdiği tekrarlı bağlantılar veya convolutional filtreler olmadan kısa ve uzun menzilli bağımlılıkları etkili bir şekilde yakalama olanağı sağlar.

Böylece, tekrarlı işlemleri ortadan kaldırarak dönüştürücüler beberapa önemli avantaj sunar:

• Paralelleştirme: Dikkat mekanizmaları, dizinin farklı segmentleri boyunca paralel olarak hesaplanabilir, bu da modern donanımlarda (örneğin GPU’lar) eğitimi hızlandırır.
• Eğitim Verimliliği: Ayrıca, geleneksel RNN tabanlı veya CNN tabanlı modellere göre önemli ölçüde daha az eğitim zamanı gerektirir ve makine çevirisi gibi görevlerde daha iyi performans gösterir.

Sıfır Atışlı Makine Çevirisi ve PaLM 2

2022’de Google, Sıfır Atışlı Makine Çevirisi kullanarak 24 yeni dilin desteğini ekledi ve makine çevirisi teknolojisinde önemli bir kilometre taşı gerçekleştirdi. Ayrıca, dünyanın 1000 en çok konuşulan dilini desteklemek amacıyla 1000 Diller Girişimini duyurdu. Şimdi, 110 daha dil eklediler. Sıfır Atışlı Makine Çevirisi, kaynak ve hedef diller arasında paralel veri gerektirmeden çeviriyi sağlar, bu da her dil çifti için eğitim verisi oluşturmanın önceki maliyetli ve zaman alıcı sürecini ortadan kaldırır.

Bu ilerleme, dönüştürücülerin mimarisi ve self-attention mekanizmalarının bir sonucu olarak mümkün oldu. Dönüştürücü modelinin diller arası bağlamsal ilişkileri öğrenme yeteneği, çok dilli çeviri sistemlerini daha verimli ve etkili hale getirmek için birden fazla dili aynı anda işleme yeteneği ile birleşti. Ancak, sıfır atışlı modeller genellikle paralel veri ile eğitilen modellere göre daha düşük kaliteli çeviriler sağlar.

Sonra, dönüştürücülerin ilerlemesine dayanarak Google, 2023’te PaLM 2yi tanıttı ve 2024’te 110 yeni dilin yayınlanmasını sağladı. PaLM 2, Google Translate’in Hintçe ve Fransızca kreoller gibi yakından ilgili dilleri öğrenme yeteneğini önemli ölçüde geliştirdi. PaLM 2’deki geliştirmeler, daha verimli dil öğrenimi sağladı ve Google’ın dil desteğini daha da iyileştirmeye yönelik devam eden çabalarını destekledi.

Dönüştürücüler ile Makine Çevirisi Zorluğunu Tamamen Çözdük mü?

Bu ilerleme, Google’un İstatistiksel Makine Çevirisini benimsemesinden bu yana 18 yıl geçti ve sıfır atışlı makine çevirisi kullanarak 110 dil daha ekledi. Bu, historically çok emek yoğun bir görev olan geniş paralel corpus toplama ihtiyacını azaltabilir. Ancak, makine çevirisi zorluğunun tamamen çözüldüğünü iddia etmek için henüz erken.

Şu anda kullanılan modeller, masih bağlam ve tutarlılık konusunda zorluklar yaşıyor ve anlamı değiştirebilecek ince hatalar yapıyor. Bu sorunlar, mantıksal akışı korumak ve nüansları anlamak için gereken daha uzun ve karmaşık cümlelerde özellikle belirgin. Ayrıca, kültürel nüanslar ve idiomatik ifadeler genellikle kayboluyor veya anlamlarını yitiriyor, bu da gramer olarak doğru ancak doğal olmayan veya istenmeyen etkiyi yaratmayan çevirilere yol açıyor.

Ön Eğitim Verileri: PaLM 2 ve benzer modeller, çeşitli çok dilli metin corpora’sı üzerinde ön eğitilir. Bu, PaLM 2’yi çok dilli görevlerde üstün performans göstermesini sağlar ve geleneksel veri setlerinin çevirme kalitesini iyileştirmek için hala önemli olduğunu vurgular.

Alan-Spesifik veya Nadir Diller: Hukuk, tıp veya teknik gibi özel alanlarda, paralel corpora, modellerin spesifik terminoloji ve dil nüanslarına遇遇 etmesini sağlar. Gelişmiş modeller, alan spesifik jargon veya dil trendleri ile mücadele edebilir ve sıfır atışlı makine çevirisi için zorluklar oluşturabilir. Ayrıca, düşük kaynaklı diller hala kötü bir şekilde çevrilir, çünkü doğru modelleri eğitmek için gerekli verileri sahip değiller.

Performans Ölçümü: Paralel corpora, çevirme modeli performansını değerlendirmek ve ölçmek için hala gereklidir, özellikle yeterli paralel corpus verisi olmayan diller için zorluklar oluşturur. Otomatik ölçütler gibi BLEU, BLERT ve METEOR, gramer dışında çevirme kalitesindeki nüansları değerlendirmede sınırlamalara sahiptir. Ancak, insan değerlendirmeleri de önyargılardan etkilenir ve her dil çifti için mükemmel bir bilingual değerlendirici bulmak zor olabilir.

Kaynak Yoğunluğu: Büyük dil modellerinin eğitimi ve dağıtımı kaynak yoğun bir süreçtir ve bazı uygulamalar veya organizasyonlar için erişimi sınırlayabilir.

Kültürel Koruma. Etik boyut derin bir şekilde önemlidir. Google Translate Araştırma Bilimcisi Isaac Caswell, Sıfır Atışlı Makine Çevirisini şöyle tanımlar: “Birçok dili bilen bir poliglot gibi düşünebilirsiniz. Ve sonra, çevrilmeyen 1000 dilde metin görür. Bir poliglot olduğunuzu ve başka bir dilde roman okumaya başladığınızı hayal edin, diller hakkında genel bilginizle ne anlama geldiğini parçalayabilirsiniz.” Ancak, paralel corpora’ya sahip olmayan azınlık dilleri üzerindeki uzun vadeli etkileri dikkate almak önemlidir, bu da dilin kendisinden uzaklaşmaya yol açabilir ve kültürel koruma üzerinde olumsuz bir etkiye sahip olabilir.