Yeni AI Modeli Daha Geniş Bir İnsan Dili Çeşitliliğiyle Çalışıyor

Waterloo Üniversitesi’ndeki araştırmacılar, bilgisayarların daha geniş bir insan dili çeşitliliği işlemesine olanak tanıyan bir AI modeli geliştirdiler. Bu, birçok dilin genellikle programlama sürecinde geri planda bırakıldığı alanda önemli bir adımdır. Afrika dilleri genellikle bilgisayar bilimciler tarafından odaklanılmadığından, doğal dil işleme (NLP) yetenekleri kıtasında sınırlıdır.

Yeni dil modeli, Waterloo Üniversitesi’nin David R. Cheriton Bilgisayar Bilimi Okulu’ndaki bir araştırma ekibi tarafından geliştirildi.

Araştırma Multilingual Representation Learning Workshop‘te sunuldu ve 2021 Conference on Empirical Methods in Natural Language Processing’te sunuldu.

Model, AfriBERTa olarak adlandırılıyor ve derin öğrenme tekniklerini kullanarak düşük kaynaklı diller için etkileyici sonuçlar elde ediyor. Bu model, bilgisayarların Afrika dillerindeki metinleri çeşitli görevler için analiz etmesine yardımcı oluyor.

11 Afrika Dilini Destekleme

AfriBERTa, şu anda Amharic, Hausa ve Swahili dahil 11 farklı Afrika dilini destekliyor. Bu diller, yaklaşık 400 milyon insan tarafından konuşuluyor. Model, mevcut en iyi modellere benzer çıktı kalitesi gösterdi ve sadece bir gigabayt metin öğrenerek bunu başardı. Diğer benzer modeller genellikle çok daha fazla veri gerektirir.

Kelechi Ogueji, Waterloo Üniversitesi’nde bilgisayar bilimi yüksek lisans öğrencisi.

“Önceden eğitilmiş dil modelleri, makine çeviriden soru yanıtlamaya kadar çeşitli görevler için bilgisayarların metin verilerini işleme ve analiz etme şeklini değiştirdi” dedi Ogueji. “Ne yazık ki, Afrika dilleri araştırma topluluğu tarafından fazla ilgi görmüyor.”

“Bir challenge, sinir ağlarının metin ve bilgisayar açısından inanılmaz derecede yoğun olmasıdır. İngilizce gibi enormous miktarda metin bulunan dillerin aksine, dünya çapında konuşulan 7.000 dilin çoğu, düşük kaynaklı olarak nitelendirilebilir, çünkü sinir ağlarını beslemek için yeterli veri yoktur.”

Ön Eğitim Tekniği

Bu modellerin çoğu, ön eğitim tekniğine dayanır, bu da araştırmacının modeli bazı kelimeleri gizlenmiş veya maskelenmiş metinlerle sunmasını içerir. Model, gizli kelimeleri tahmin etmeye çalışır ve bu işlemi milyarlarca kez tekrarlar. Sonuç olarak, kelimeler arasındaki istatistiksel ilişkileri öğrenir, bu da dilbilgisi bilgisine benzer.

Jimmy Lin, Cheriton Bilgisayar Bilimi Kürsüsü ve Ogueji’nin danışmanı.

“Belirli görevler için aynı derecede doğru modelleri ön eğitmek, ancak çok daha küçük miktarda veri kullanarak birçok avantajı vardır” dedi Lin. “Daha az veri gerektiren dil modeli, daha az hesaplama gerektirir ve bu da büyük veri merkezlerinin işletilmesi ile ilgili daha düşük karbon emisyonları anlamına gelir. Daha küçük veri setleri, veri kürasyonu daha pratik hale getirir, bu da modellerdeki önyargıları azaltmak için bir yaklaşımdır.”

“Bu çalışma, 1,3 milyardan fazla insanı kapsayan Afrika kıtasına doğal dil işleme yeteneklerini getirmeye küçük ama önemli bir adım atıyor.”

Araştırmaya, üniversitede bilgisayar bilimi alanında lisans eğitimini recently tamamlayan Yuxin Zhu da katıldı.