Baidu, Google ve Microsoft’i Geride Bıraktı, Dil Anlama için Yeni bir Tekniği Geliştirdi

Baidu, Çin’in en büyük teknoloji şirketlerinden biri, recently bir dizi yeni yöntem geliştirdi. TechnologyReview tarafından bildirildiği üzere, şirket yakın zamanda Microsoft (MSFT ) ve Google’ı Genel Dil ve Anlama Değerlendirme (GLUE) yarışmasında geride bırakarak, en iyi sonuçları elde etti.

GLUE, dil anlama için önemli olan farklı görevleri ölçen dokuz farklı testten oluşur. Bu testler, cümledeki varlık adlarını ayırt etme ve birden fazla olası aday olduğunda “o” zamirinin kullanıldığı bağlamı ayırt etme gibi görevleri içerir. Ortalama bir insan, GLUE’de 100 üzerinden yaklaşık 87 puan alır. Baidu’nun yeni modeli ERNIE, 90 puan eşiklerini aştı.

Araştırmacılar, modellerinin GLUE’deki performansını sürekli olarak geliştirmeye çalışıyorlar, bu nedenle Baidu’nun当前 standardı muhtemelen kısa sürede geçilecektir. Ancak Baidu’nun başarılarının dikkat çekici olmasının nedeni, kullandıkları öğrenme yaklaşımının diğer dillere de genellenebiliyor olmasıdır. Model, Çin dilini yorumlamak için geliştirilmiş olsa da, aynı ilkeler İngilizce dilini yorumlamayı da geliştiriyor. ERNIE, “Gelişmiş Temsiliyet through Bilgi Entegrasyonu”nun kısaltmasıdır ve BERT (“Bidirectional Encoder Representations from Transformers”) dil modelinin geliştirilmesinin ardından ortaya çıktı.

BERT, bidirectional bir model olması nedeniyle dil anlama için yeni bir standardı belirledi. Önceki dil modelleri, yalnızca bir yönde akan verileri yorumlayabiliyordu, yani hedef kelimenin önce veya sonra gelen kelimeleri bağlam olarak kullanabiliyordu. BERT, hem önceki hem de sonraki kelimeleri hedef kelimenin anlamını belirlemek için kullanabilen bir bidirectional yaklaşım uygulayabildi. BERT, bidirectional analizi mümkün kılmak için bir teknik olan masking kullanıyor, bir cümledeki bir kelimeyi seçiyor ve gizliyor, bu da o kelimenin bağlamını önce ve sonra gelen ipuçlarına ayırıyor.

İngilizce dilinde, kelime dominant bir anlamsal birimdir, insanlar anlamı belirlemek için tüm kelimelere değil, jednotliv kelimelere bakarlar. Bir kelimeyi bağlamından çıkararak da anlamını koruyabilir ve individual karakterlerin anlamı genellikle aynı kalır. Buna karşılık, Çin dili, karakterlerin diğer karakterlerle eşleştirilme şekline daha fazla bağlıdır. Karakterler, etrafındaki karakterlere bağlı olarak farklı anlamlara sahip olabilir.

Baidu araştırma ekibi, temel olarak BERT’in kullandığı modeli genişletti, karakter dizilerini instead of entire kelimeleri gizledi. AI sistemi, aynı zamanda anlamlı ve anlamsız karakter dizilerini ayırt etmek için eğitildi, böylece doğru karakter dizileri gizlenebilir. Bu, ERNIE’nin bir metin belgesinden bilgi çıkarması ve makine tercümesi yapabilmesini sağlar. Araştırma ekibi, eğitim yöntemlerinin aynı zamanda İngilizce cümleleri diğer modellerden daha iyi ayırt edebilen bir model ürettiğini de keşfetti. Bu, İngilizce’nin bazen, aunque nadiren, farklı anlamlar ifade eden kelime kombinasyonlarını kullanması nedeniyle xảyor. Proper names ve deyimler veya argo ifadeler, örneğin “chip off the old block” gibi dil olguları buna örnek olarak verilebilir.

ERNIE, performansını optimize etmek için birden fazla eğitim tekniğini kullanıyor, cümle sırasını ve mesafesini analiz ederek paragrafları yorumluyor. Ayrıca, sürekli bir eğitim yöntemi kullanılıyor, bu da ERNIE’nin yeni veriler üzerinde eğitim almasını ve yeni kalıpları öğrenmesini sağlar, previously kazanılan bilgileri unutmaz.

Baidu目前 ERNIE’yi arama sonuçlarının kalitesini artırmak için kullanıyor. ERNIE’nin son mimarisi, 2020 Association for the Advancement of Artificial Intelligence konferansında sunulacak bir makalede ayrıntılı olarak açıklanacak.