Baidu, Google ve Microsoft'u Aştı, Dili Anlamak İçin Yeni Bir Teknik Yarattı

Çin'in en büyük teknoloji şirketlerinden biri olan Baidu, yakın zamanda yapay zekalara dili anlamayı öğretmek için yeni bir yöntem geliştirdi. Gibi TechnologyReview tarafından bildirildi, şirket kısa bir süre önce Genel Dil ve Anlayış Değerlendirmesi (GLUE) yarışmasında Microsoft ve Google'ı geride bırakarak son teknoloji sonuçlar elde etti.

GLUE, dokuz farklı testten oluşur ve her test, bir cümledeki varlıkların adlarını ayırt etmek ve çok sayıda potansiyel aday olduğunda "o" zamirinin hangi bağlamda kullanıldığını ayırt etmek gibi, dili anlamak için önemli olan farklı bir görevi ölçer. . Ortalama bir insan GLUE'da tipik olarak 87 puan üzerinden yaklaşık 100 puan alır. Baidu'nun yeni modeli, ERNIE, 90 puan barajını aştı.

Araştırmacılar her zaman GLUE'daki modellerinin performansını iyileştirmeye çalışıyorlar ve bu nedenle Baidu tarafından belirlenen mevcut standart muhtemelen yakında geride kalacak. Ancak Baidu'nun başarılarını dikkate değer kılan şey, kullandıkları öğrenme yaklaşımının diğer dillere genellenebilecek gibi görünmesidir. Model Çince'yi yorumlamak için geliştirilmiş olsa da, aynı prensipler onu daha iyi ve İngilizce'yi daha iyi yorumluyor. ERNIE, "Bilgi Entegrasyonu Yoluyla Gelişmiş Temsil" anlamına gelir ve Bert  (“Transformers'tan Çift Yönlü Kodlayıcı Gösterimleri”) dil modeli.

BERT, çift yönlü bir model olması nedeniyle dil anlayışı için yeni bir standart belirledi. Önceki dil modelleri, hedef kelimeden önce veya sonra gelen bir kelimeye bağlam olarak bakarak yalnızca tek bir "yönde" akan verileri yorumlayabiliyordu. BERT, bir hedef kelimenin anlamını anlamaya yardımcı olmak için bir cümlede hem önceki hem de sonraki kelimeleri kullanabilen çift yönlü bir yaklaşım uygulayabildi. BERT, çift yönlü analizi mümkün kılmak için maskeleme adı verilen bir teknik kullanır, bir cümlede bir kelime seçer ve onu gizler, bu da o kelimenin olası bağlamını önceki ve sonraki bağlam ipuçlarında böler.

İngiliz dilinde, kelime baskın semantik birimdir, insanlar anlamı ayırt etmek için tek tek karakterler yerine bütün kelimelere bakarlar. Bir kelimeyi bağlamından çıkarmak ve o kelimenin anlamını korumasını sağlamak mümkündür ve tek tek karakterlerin anlamı neredeyse her zaman aynıdır. Buna karşılık, Çin dili, anlamı ayırt ederken karakterlerin diğer karakterlerle nasıl eşleştirildiğine çok daha fazla güvenir. Karakterler, etraflarındaki karakterlere bağlı olarak farklı anlamlara gelebilir.

Baidu araştırma ekibi, esas olarak BERT'nin kullandığı modeli aldı ve tam sözcükler yerine karakter dizilerini gizleyerek onu genişletti. AI sistemi ayrıca, doğru karakter dizilerinin maskelenebilmesi için rastgele diziler ile anlamlı diziler arasında ayrım yapmak üzere eğitildi. Bu, ERNIE'yi bir metin belgesinden bilgi alma ve makine çevirisi yapma konusunda yetkin kılar. Araştırma ekibi ayrıca, eğitim yöntemlerinin, İngilizce ifadeleri diğer birçok modelden daha iyi ayırt edebilen bir modelle sonuçlandığını da keşfetti. Bunun nedeni, nadiren de olsa İngilizce'nin bazen bir araya geldiklerinde ve kendi başlarına olduklarında farklı anlamlar ifade eden kelime kombinasyonları kullanmasıdır. Özel adlar ve deyimler ya da "eski bloğu kırp" gibi günlük konuşmalar, bu tür dilbilimsel fenomenlerin örnekleridir.

ERNIE, paragrafları yorumlarken cümle sırasını ve mesafeyi analiz etmek de dahil olmak üzere performansı optimize etmek için çok sayıda başka eğitim tekniğinden yararlanır. ERNIE'nin daha önce edindiği bilgileri unutmadan yeni veriler üzerinde eğitim yapmasına ve yeni modeller öğrenmesine olanak tanıyan sürekli bir eğitim yöntemi de kullanılır.

Baidu şu anda arama sonuçlarının kalitesini artırmak için ERNIE'yi kullanıyor. ERNIE'nin en son mimarisi, 2020 Yapay Zekayı Geliştirme Derneği konferansında sunulacak olan bir makalede ayrıntılı olarak açıklanacak.