Facebook 100 Farklı Dilden Doğrudan Çevirme Yapabilen Makine Çevirisi Modeli Oluşturdu

Facebook最近 olarak, herhangi iki dili birbirine çevirebilen yeni bir makine çevirisi modeli geliştirdi. Diğer makine çevirisi sistemlerinin çoğunun aksine, çoğu diğer AI çevirisi sistemi önce metni İngilizce’ye çevirir, ardından metni oradan çevirir. Engadget’in raporuna göre, Facebook’ (META ) un AI çevirici, İngilizce’yi aracı olarak kullanmadan çalışır ve yaklaşık %90 doğruluk oranı elde edebiliyor.

Facebook’un AI modeli için eğitim verisi, yaklaşık 7,5 milyar cümle çiftinden oluşuyordu ve 100 farklı dilde dağıtılmıştı. Veri, bir dizi web tarama aracı kullanarak web’den derlenmişti ve toplanan verideki diller, FastText adlı bir dil modeli kullanılarak belirlenmişti. Veri toplandıktan sonra, LASER 2.0 adlı bir araç kullanılarak farklı cümle örneklerinin anlamını çıkarmak ve cümleleri anlamlarına göre birbirine eşlemek için kullanıldı. LASER 2.0, Facebook tarafından geliştirilmiş ve gözetimsiz öğrenme algoritmaları kullanarak gömme oluşturur. Cümle gömmeleri, cümleler arasındaki ilişkiler hakkında, kullanım sıklığı ve cümlelerin birbirlerine yakınlığı gibi özellikler hakkında bilgi içerir. LASER 2.0, anlamları yüksek ölçüde benzer olan cümle çiftleri oluşturabilir.

Eğitim verisi sadece cümle anlamlarına göre eşleştirilmedi. Diller kendileri de gruplandırıldı. Hedef, İngilizce’yi iki dil arasında bir medium olarak kullanmaya gerek kalmayan bir sistem tasarlamakti, Facebook’un Angela Fan, projeyi yöneten, birçok bölgenin İngilizce olmayan iki dili konuştuğunu belirtti. Facebook mühendisleri, eğitimlerini, genellikle birbirine çevrilen dilleri eşleştirerek gerçekleştirdiler. Kültür, dilbenzerliği ve coğrafya gibi değişkenlere dayanarak on dört farklı dil grubu oluşturuldu. Örneğin, araştırmacılar tarafından oluşturulan bir dil grubu, Hindistan’da en çok konuşulan dilleri içeriyordu, bunlar Urdu, Tamil, Hintçe ve Bengalce idi. Bu, sıkça eşleştirilen dillerin yüksek kaliteli çevirilere sahip olmasını sağlamak için yapıldı.

Dil-grup odaklı eğitim yöntemi ilginç sonuçlara yol açtı. Elde edilen çevirisi modelinin, belirli dil çiftleri için mevcut modellere göre daha yüksek doğruluk oranı olduğu bulundu. Örneğin, İngilizce ve Belarusça arasında çevirme yapılırken, AI, Rusça’yı çevirirken öğrendiği certain kalıpları uygulayabiliyordu, çünkü Belarusça, Rusça ile dilbenzerliği vardı. Benzer şekilde, İspanyolca ve Portekizce arasında çevirme çabaları, İspanyolca’nın en çok konuşulan ikinci dil olması ve bu görev için önemli miktarda eğitim verisi bulunması nedeniyle gelişti.

Sistem, yaklaşık altmış dili henüz kapsamamaktadır ve modelin, eğitim verisi az olan dillerdeki doğruluğunu geliştirmek, kullanıma hazır olması için gerekli olacaktır. Güneydoğu Asya ve Afrika’daki birçok dil, güvenilir bir modeli eğitmek için gerekli veri hacmine sahip değildir. Araştırma ekibinin, bu veri eksikliğini telafi etmek için bir yol bulması gerekecektir. Araştırma ekibinin ayrıca, modelin possibly öğrenebileceği ırkçı, cinsiyetçi veya başka türlü küfür kalıplarını kontrol etme yolunu belirlemesi gerekecektir. Araştırma ekibi, bir küfür filtresi kullanmıştır, ancak bu filtre主要 olarak İngilizce veri üzerinde çalışmaktadır.

Makine çevirisi sistemi, Facebook’un sosyal medya platformunda henüz kullanıma sunulmamıştır. Mevcut model, yalnızca araştırma amaçlıdır. Ancak, Facebook, benzer modeller tasarlamak ve sitede her gün alınan yaklaşık 20 milyar çevirme isteğini işlemek için bunları kullanmaya hazırlanıyor.