Yaratıcı AI Tehlike Altındaki Dillerin Ölüm Cezası Değildir

UNESCO’ya göre, dillerin yarısı 2100 yılına kadar yok olabilir. İnsanlar, yaratıcı AI’nın bu sürece katkıda bulunduğunu söylüyorlar.

Dil çeşitliliği kaybı, AI veya İnternet ile başlamadı. Ancak AI, yerli ve düşük kaynaklı dillerin yok olmasını hızlandırabilecek konumda.

Dünyadaki 7.000’den fazla dilin çoğu, AI modellerini eğitmek için yeterli kaynağa sahip değil ve birçok dil yazılı bir forma sahip değil. Bu, birkaç büyük dilin AI eğitimi için mevcut verilerin çoğunu domine ettiği, çoğu dilin ise AI devriminin gerisinde kalacağı ve tamamen kaybolabileceği anlamına geliyor.

Bunun basit nedeni, mevcut AI eğitimi için kullanılan verilerin çoğunun İngilizce olmasıdır. İngilizce, büyük dil modellerinin (LLM’ler) ana sürücüsüdür ve daha az yaygın dilleri konuşan kişiler, AI teknolojisinde kendilerini temsil edilmeyen olarak buluyorlar.

Aşağıdaki İstatistiklere bakın:

• İnternet sitelerinin üçte ikisi İngilizce’dir.
• GenAI’nın öğrendiği verilerin çoğu internetten toplanır.
• Dünya nüfusunun yalnızca %20’si İngilizce konuşuyor.

AI, günlük hayatımızda daha da yerleşik hale geldikçe, hepimiz dil eşitliğini düşünmeliyiz. AI, ölçeklenebilir sorun çözme potansiyeline sahip ve vaadi yalnızca İngilizce konuşan dünya ile sınırlı olmamalıdır. AI, zengin, gelişmiş ülkelerdeki insanların kişisel ve profesyonel hayatlarını kolaylaştıran araçlar ve kolaylıklar yaratıyor.

Düşük kaynaklı dilleri konuşan kişiler, teknolojide temsil edilmemekle alışıklar – kendi dillerinde web siteleri bulamadıkları gibi, Siri tarafından tanınan lehçeleri de bulamıyorlar. Düşük kaynaklı dillerde mevcut olan metinlerin çoğu, kalitesiz (kendisi de şüpheli bir doğrulukla çevrilmiş) ve dar bir kapsamda.

Toplum, düşük kaynaklı dillerin AI denkleminin dışında kalmasını nasıl önleyebilir? Dil, AI’nin vaadine engel olmayacak şekilde nasıl güvence altına alınabilir?

Dil kapsayıcılığına yönelik çabalarda, bazı büyük teknoloji şirketleri, büyük çok dilli dil modellerini (MLM’ler) eğitmeye yönelik girişimlerde bulunuyorlar. Microsoft (MSFT ) Translate, örneğin, “her dil, her yerde” desteğini vaat ediyor. Ve Meta, “Hiçbir Dil Geride Kalmayacak” vaadinde bulunuyor. Bunlar övgüye değer, ancak gerçekçi mi?

Dünya çapındaki tüm dilleri işleyen tek bir model oluşturma çabası, daha büyük dillerden daha fazla veri olduğu için ayrıcalıklı olanları destekler. Daha az kaynaklı diller ve Latin olmayan yazı sistemleri ile çalışmaya başladığımızda, AI modellerini eğitmek daha zor, zaman alıcı ve daha pahalı hale gelir. Bu, temsil edilmeyen diller için istemeden bir vergi gibi düşünülebilir.

Konuşma Teknolojisi Alanındaki Gelişmeler

AI modelleri büyük ölçüde metin üzerinde eğitilir, bu da doğal olarak metin içeriği daha derin depolara sahip dilleri destekler. Dil çeşitliliği, metne bağlı olmayan sistemlerle daha iyi desteklenebilir. İnsan etkileşimi bir zamanlar tamamen konuşma tabanlıydı ve birçok kültür bu sözlü odağı koruyor. Küresel bir kitleye daha iyi hizmet vermek için AI endüstrisi, metin verisinden konuşma verisine ilerlemelidir.

Konuşma teknolojisi alanında yapılan araştırmalar büyük ilerleme kaydediyor, ancak konuşma tabanlı teknolojiler metin tabanlı teknolojilerden hala geri kalıyor. Konuşma işleme araştırmaları ilerlemekte, ancak doğrudan konuşma-konuşma teknolojisi henüz olgun değil. Endüstri, genellikle yalnızca bir teknoloji belirli bir seviyeye ulaştığında ilerlemekte.

TransPerfect’in yeni çıkardığı GlobalLink Live yorum platformu, daha olgun konuşma teknolojilerini – otomatik konuşma tanıma (ASR) ve metin-konuşma (TTS) – kullanıyor, çünkü doğrudan konuşma-konuşma sistemleri henüz yeterli olgunluğa ulaşmamış durumda. Bununla birlikte, araştırma ekiplerimiz, konuşma-konuşma boru hatlarının hazır olduğu güne hazırlanıyor.

Konuşma-konuşma çeviri modelleri, sözlü dillerin korunması için büyük umut vaat ediyor. 2022’de Meta, yaklaşık 46 milyon kişinin konuştuğu Çin diasporasının büyük çoğunluğu tarafından konuşulan Hokkien dilinin ilk AI destekli konuşma-konuşma çeviri sistemini açıkladı. Bu, Meta’nın Evrensel Konuşma Çevirici projesinin bir parçasıdır ve bu proje, birçok dil arasında gerçek zamanlı konuşma-konuşma çevirisini mümkün kılacak yeni AI modelleri geliştirmeyi amaçlıyor. Meta, Hokkien çeviri modellerini, değerlendirme veri kümelerini ve araştırma makalelerini açık kaynak olarak paylaştı, böylece başkaları da bu çalışmaları yeniden üretebilir ve üzerine inşa edebilir.

Az İle Öğrenme

Belirli diller etrafında kaynakların eksik olması, bu diller için ölüm cezası anlamına gelmez. İşte burada, çok dilli modellerin bir avantajı vardır, çünkü diller birbirlerinden öğrenir. Tüm diller kalıpları takip eder. Diller arasındaki bilgi aktarımı nedeniyle, eğitim verisi ihtiyacı azalır.

90 dil öğrenen bir modeliniz olduğunu ve buna İnuit dillerini (Kuzey Amerika’da yerli bir dil grubu) eklemek istediğinizi varsayalım. Bilgi aktarımı nedeniyle, İnuit verisine ihtiyacınız weniger olacaktır. Az ile öğrenmenin yollarını buluyoruz. Motorları ayarlamak için gereken veri miktarı daha düşük.

Ben, daha kapsayıcı bir AI geleceğinden umutluyum. Dillerin yok olacağına veya AI’nin yalnızca İngilizce konuşan dünyanın alanı olacağına inanmıyorum. Zaten, dil eşitliği konusunda daha fazla farkındalık görüyoruz. Daha çeşitli veri toplama, daha dil özel modeller oluşturma gibi adımlar atıyoruz.

Fon dilini düşünün, Benin ve komşu Afrika ülkelerinde yaklaşık 4 milyon kişi tarafından konuşulan bir dil. Bir zamanlar, bir AI modeli Fon’u kurgusal bir dil olarak tanımladı. Bilgisayar bilimcisi Bonaventure Dosseau, annesi Fon konuşan biri ve kendisi Fransızca konuşuyor, bu tür dışlanmaya alışıktı. Dosseau, annesiyle iletişim kurmak için bir çeviri programı bulamıyordu. Bugün, annesiyle iletişim kurabiliyor, çünkü kendisi tarafından titizlikle oluşturulan bir Fon-Fransızca çeviri var. Bugün, Fon Wikipedia’nın da başlangıç aşamasında.

Dilleri korumak için teknoloji kullanımına yönelik bir çaba olarak, Türk sanatçı Refik Anadol, yerli halk için açık kaynaklı bir AI aracı oluşturma çalışmasını başlattı. Dünya Ekonomik Zirvesi’nde sordu: “Nasıl olur da, tüm insanlığı bilmeyen bir AI yaratabiliriz?”