Smartling’de Yapay Zekâ Başkan Yardımcısı Olga Beregovaya – Röportaj Dizisi

Olga Beregovaya, Smartling’de Yapay Zekâ Başkan Yardımcısı olarak çeviri, veri, kalite ve güvenlik alanlarındaki yapay zekâ stratejisine liderlik ediyor. 1997’den bu yana doğal dil işleme alanında çalışıyor; kural tabanlı sistemlerden istatistiksel modellere, sinir ağlarından büyük dil modellerine kadar pek çok yaklaşımla deneyim kazandı. Smartling’e katılmadan önce Welocalize’da Yapay Zekâ İnovasyonu Başkan Yardımcısı, PROMT Americas’ta ise CEO olarak görev yaptı.

Smartling, yapay zekâ ve makine çevirisini insan uzmanlığıyla bir araya getiren kurumsal çeviri ve yerelleştirme yazılımları ile hizmetleri sunuyor. Platformu; web siteleri, uygulamalar, pazarlama içerikleri, belgeler ve multimedya için çok dilli iş akışlarını destekliyor ve 20’den fazla büyük dil modeline ve makine çevirisi motoruna erişim sağlıyor. Beregovaya bu röportajda çok dilli yapay zekâ arasındaki uçurumu, çeviri kalitesini, model seçimini ve otomatik yerelleştirmede insan gözetiminin rolünü ele alıyor.

Bu yolculuk, dilde yapay zekânın rolüne ilişkin düşüncelerinizi nasıl şekillendirdi ve Smartling’de yapay zekâ stratejisine liderlik etmeye sizi ne yöneltti?

Dillerin yapısını ve dil ailelerinin işleyişini inceledim. Bu çalışmalar, çevirinin sözcükleri tek tek aktarmaktan değil, yapı ve anlamdan ibaret olduğunu öğretti. Yapay zekâya da aynı şekilde yaklaşıyorum.

Doğal dil işleme alanında çalışmaya, sistemlerin elle yazılmış kurallara dayandığı 1997 yılında başladım. O zamandan bu yana istatistiksel modellerle, sinir ağlarıyla ve günümüzün büyük dil modelleriyle çalıştım. Her biri bazı sorunları çözerken yenilerini ortaya çıkardı. Tek bir modelin bütün sorunların çözümü olduğuna inanmıyorum.

Smartling’e katıldım; çünkü şirket, web siteleri ve uygulamalardan hukuk belgelerine, pazarlama içeriklerine ve videolara kadar her tür kurumsal içeriği çevirmek üzere kurulmuştu. Makine Çevirisi Başkan Yardımcısı olarak başladım; ancak görevim kısa sürede çevirinin ötesine geçerek istem tasarımı, veri, kalite ve güvenliği de kapsadı. Böylece unvanım Yapay Zekâ Başkan Yardımcısı oldu.

Bu uçurum uygulamada nasıl görünüyor ve üretken yapay zekâ başlıca arayüz hâline geldikçe neden daha ciddi sonuçlar doğurabilir?

Eskiden uçurumun tanımı basitti: Bir yapay zekâ sistemi ya dilinizi desteklerdi ya da desteklemezdi. Bu mesele büyük ölçüde çözüme kavuştu, ancak uçurumun biçimi değişti. Artık önemli olan, modelin eğitim verilerinin o dili, dili konuşanları ve onların kültürünü ne ölçüde temsil ettiği. Model eğitim verilerinin çoğu İngilizce olduğundan, bu verilere İngilizce konuşanlara özgü varsayımlar da yansıyor. Bir çeviri teknik açıdan doğru olabilir, ancak yine de başka bir dile İngilizce konuşanların bakış açısını dayatabilir.

Yapay zekâ, insanların bankalarla, doktorlarla, okullarla ve diğer temel hizmetlerle etkileşim kurma biçimine dönüşüyor. Yapay zekânın iyi işlediği bir dil size avantaj sağlarken, iyi işleyemediği bir dil sizi dezavantajlı duruma düşürüyor.

Sizi en çok ne şaşırttı ve konuşur sayısı çok daha az olmasına rağmen İsveççenin Hintçeden daha iyi sonuç vermesi nasıl açıklanabilir?

Konuşur sayısı, çeviri kalitesini tahmin etmek için şaşırtıcı ölçüde zayıf bir göstergedir. Yaklaşık 10 milyon konuşuru olan İsveççe, en iyi sonuçlardan bazılarını verdi. Yaklaşık 600 milyon konuşuru olan Hintçe ise Estonca ve Tayca ile birlikte en zayıf sonuçları veren diller arasındaydı.

Dil yapısı ve verinin kalitesi çok daha önemlidir. İsveççenin dil bilgisi görece basittir ve bu dilde bol miktarda temiz eğitim verisi bulunur. Estoncada anlamı aktarmak için sözcüklerin sonları sürekli değişir; bu da yapay zekânın işlemesi gereken karmaşıklığı artırır. Hintçenin yüz milyonlarca konuşuru olsa da konuşur sayısından hareketle beklenebileceğinden çok daha az miktarda, yüksek kaliteli ve çeşitli eğitim verisi vardır.

Bir diğer sürpriz de ilerlemenin laboratuvardan laboratuvara aynı olmamasıydı. Başlangıçta daha zayıf olan diller genellikle bir model neslinden diğerine en fazla gelişme kaydetti; ancak bu eğilim her zaman geçerli değil.

Eğitim verisinin miktarının ötesinde, model performansını en çok hangi etkenler belirliyor?

Belirleyici etkenlerden biri sözcük birimlerine ayırmadır (tokenizasyon). Modelin metni işlemeden önce parçalara bölme biçimini ifade eder ve özellikle Latin alfabesini kullanmayan diller için önemlidir. Yetersiz tokenizasyon, sonraki tüm aşamaları sınırlar.

Dil yapısı da önem taşır. Sözcük sonlarının karmaşık olduğu diller, modellerin işlemesi açısından daha zor olabilir. Örneğin Almancada sözcükler art arda eklenerek tek bir sözcüğün 40 karaktere ulaşmasına neden olabilir; bu da modelin önüne İspanyolca veya Fransızca gibi dillere kıyasla daha büyük zorluklar çıkarır.

Bir de veri kalitesi var. Kötü veri, kötü sonuçlar doğurur. Verinin doğruluğu, çeşitliliği ve temsil gücü, yapay zekâ destekli çeviri performansı açısından son derece kritiktir.

Son olarak ölçümleme geliyor. TER, BLEU, CHRF3 ve MetricX kullanıyor, sonuçları güvenilir insan çevirileriyle karşılaştırıyoruz. Bir model kulağa doğal gelen bir metin üretirken anlamı yanlış aktarabilir.

Önde gelen yapay zekâ laboratuvarları hangi sorumluluğu üstlenmeli ve anlamlı bir ilerleme nasıl görünür?

En gelişmiş dil modellerini kontrol ettikleri için en büyük sorumluluk önde gelen laboratuvarlara düşüyor. Aldıkları kararlar uçurumu derinleştirebilir ya da kapatmaya yardımcı olabilir. Ancak çeviri; akıl yürütme, kodlama ve güvenlik alanlarıyla ilgi ve kaynaklar için rekabet ediyor. Bu nedenle çeviriye odaklanan özel ekipleri olan laboratuvar sayısı az.

Anlamlı bir fark yaratacak üç şey var:

1. Daha fazla dil ve konu alanında yüksek kaliteli veri oluşturmak.
2. Mevcut yaklaşımların yetersiz kaldığı dillerde belirteçlemeyi iyileştirin.
3. Ayrıca, yeni modellerin her birini yalnızca en büyük dillerde değil, eğitim verisi daha az olan dillerde de değerlendirin.

Önemli fırsatlardan biri, çevrimiçi ortamda çok az temsil edilen diller için eğitim verisi oluşturmaktır. Bu çalışmaların büyük bölümü büyük araştırma laboratuvarlarının dışında yürütülüyor. Afrika dilleri için veri oluşturmak üzere African Language Lab gibi gruplarla çalışıyoruz.

Smartling, 20’den fazla motorundan hangisinin belirli bir dil, içerik türü veya kullanım senaryosu için uygun olduğunu nasıl belirliyor?

En iyi modelin hangisi olduğunu varsaymak yerine modelleri test ediyoruz. Her modeli TER, BLEU, CHRF3 ve MetricX kullanarak güvenilir insan çevirileriyle karşılaştırıp değerlendiriyoruz. Bir müşteri bize pazarlama içeriğini verebilir; biz de yaklaşık bir hafta içinde her modelin dil ve konu bazında nasıl performans gösterdiğini ortaya koyabiliriz. Latin Amerika İspanyolcasındaki pazarlama içerikleri için en iyi model, başka bir dil veya hassas içerik için en iyi seçenek olmayabilir.

Risk düzeyini de hesaba katıyoruz. Daha düşük risk taşıyan kullanıcı içerikleri daha hafif bir inceleme sürecinden geçebilir. Düzenlemeye tabi veya marka açısından kritik içerikler daha fazla incelemeden geçer ve genellikle bir insan tarafından da kontrol edilir. Performans değiştikçe modeller ekleyip çıkarabildiğimiz için tek bir sağlayıcıya bağlı kalmıyoruz.

Uzmanlaşmış çeviri sistemleri hangi alanlarda hâlâ genel amaçlı büyük dil modellerinden daha iyi performans gösteriyor ve bu iki yaklaşım zamanla nasıl yakınlaşacak?

Öngörülebilirliğin en önemli olduğu durumlarda uzmanlaşmış makine çevirisi hâlâ öne çıkıyor. Özellikle hassas içerikler ve bazı diller için çok yararlı. Büyük dil modelleri daha doğal metinler üretiyor, ancak kendinden emin bir üslupla halüsinasyon da üretebiliyor.

Smartling’de bu iki yaklaşımı bir araya getiriyoruz. Uzmanlaşmış bir çeviri modeli, müşterinin terminolojisini ve alan verilerini kullanarak ilk taslağı oluşturuyor. Ardından bir büyük dil modeli metni düzenliyor; onaylanmış terminolojiyi yeniden kullanıyor, önceki çevirilerden eşleşmeleri uyguluyor ve anlatımı iyileştiriyor.

Model, sistemin yalnızca bir parçası hâline geliyor. Artık istem tasarımı, veri, özelleştirme ve güvenlik denetimleri de en az model kadar önem taşıyor.

Çok dilli içerik üretiminde üretken yapay zekâ kullanırken şirketlerin göz önünde bulundurması gereken en büyük riskler nelerdir?

Açık ara en büyük risk halüsinasyonlar. En sevdiğim örnek, birinin yapay zekâya bir mantarın zehirli olup olmadığını sorması. Yapay zekâ büyük bir özgüvenle “hayır” yanıtını veriyor; kişinin mezar taşıysa yanıldığını kanıtlıyor. Çeviride bu durum, kulağa kusursuz gelen ama gerçekleri yanlış aktaran metinler olarak karşımıza çıkıyor. Eğitim verisi daha az olan dillerde bu risk daha yüksek olabiliyor.

Bir diğer konu da kültürel ve düzenleyici bağlam. Bir çeviri teknik açıdan doğru olsa bile hedef pazar için uygun olmayabilir. Örneğin Almanca ve Japoncada, İngilizcede bulunmayan resmiyet düzeyleri gerekir. Çin’deki reklam kuralları da “en iyi” gibi iddiaları kısıtlar.

Tutarlılık da önemli bir başka konu. Genel amaçlı yapay zekâ araçları büyük ölçekte kullanıldığında terminolojide ve marka dilinde tutarsızlıklara yol açabiliyor. Bir yönetici bana şirketinde 300.000 çalışan olduğunu ve genel amaçlı yapay zekâ sayesinde 300.000 farklı ses ortaya çıktığını söylemişti.

Üstelik sonuçlar fiziksel tehlikelere de yol açabilir. Bir kolu çekmeye ilişkin güvenlik talimatı yanlış çevrilirse, bir şantiyede vinç devrilebilir.

Yerelleştirme sürecinde bir yapay zekâ ajanı nasıl bir rol üstleniyor ve insan gözetimiyle ne ölçüde özerk çalışabilir?

Yapay zekâ ajanı, yerelleştirme iş akışının bir adımıdır. Bir model çeviri yaparken başka bir model metni inceler, halüsinasyon olup olmadığını kontrol eder, onaylanmış terminolojiyi yeniden kullanır ve içeriği hedef pazara uyarlar. Ardından bir kalite kontrolü, içeriğin yayımlanıp yayımlanamayacağına, hızlı bir insan incelemesinden mi yoksa kapsamlı bir incelemeden mi geçmesi gerektiğine karar verir.

Nelerin otomatikleştirilebileceği risk düzeyine bağlı. Düşük riskli işlerimizin büyük bölümü zaten tamamen otomatikleştirilmiş durumda; ancak hassas ve düzenlemeye tabi içerikler hâlâ insan müdahalesi gerektiriyor.

Modellerin gelişmek için insan geri bildirimine ihtiyacı olduğundan, tam otomasyon her zaman hedef değildir. Amaç, insan yargısının yerini almadan insanların iş yükünü azaltmaktır.

Beş yıl içinde aradaki fark daralacak mı, yoksa açılacak mı? Yapay zekânın küresel ölçekte gerçekten çok dilli olması için neler gerekiyor?

Her iki yönde de ilerleyebilir. Başlangıçta en zayıf durumda olan diller en hızlı gelişiyor. Daha fazla kuruluş, çevrimiçi içeriği az olan diller için, konuşma dili verileri de dâhil olmak üzere, veri topluyor.

Ancak uçurumun biçimi değişiyor. Yapay zekâ bir dili iyi kullanabilirken eğitim verisinden İngilizce konuşanlara özgü varsayımları da aktarabiliyor.

Gerçekten çok dilli bir yapay zekâ için farklı bir yaklaşım gerekiyor. Her şeyi yapması beklenen tek bir genel model yerine, belirli dillere ve konulara göre uyarlanmış daha küçük modeller kullanılabilir. Diller ve alanlar genelinde daha çeşitli veriler gerekir. Mevcut yaklaşımların yetersiz kaldığı diller için daha iyi belirteçleme gerekir. Ayrıca sentetik verilerden yararlanmak ve bir modelin bir dilden öğrendiklerini akraba dillere aktarmak gerekir; böylece iyileştirmeler, verisi en bol dillerle sınırlı kalmaz.

Teknoloji mevcut; asıl soru, bu modelleri geliştiren şirketlerin çok dilli performansı öncelik hâline getirip getirmeyeceği.

Harika röportaj için teşekkür ederiz; yapay zekâ destekli çeviriyi, çok dilli kalite değerlendirmesini ve insan gözetimindeki yerelleştirme iş akışlarını keşfetmek isteyen okurlar Smartling’i ziyaret edebilir.