Appen Limited Çeşitli Veri Eğitimi Kümelerini NLP için Başlattı

Appen Limited, büyük ölçekli AI sistemleri oluşturmak isteyen şirketler için yüksek kaliteli eğitim verisi sağlayan önde gelen bir sağlayıcı, doğal dil işleme (NLP) girişimleri için yeni çeşitli eğitim veri kümelerini başlatıyor. Bu veri kümeleri, son kullanıcıların dil çeşidi, lehçe, etnolehçe, aksan, ırk veya cinsiyetinden bağımsız olarak aynı deneyimi almalarını sağlayacak.

PNAS’ın Mart 2020’de yayınladığı bir rapora göre, özellikle sanal asistanlar, kapalı alt yazılar ve eller serbest bilgisayar kullanımı için kullanılan popüler otomatik konuşma tanıma (ASR) sistemleri, performans açısından thường ırksal farklılıklar sergiler. Bunun büyük kısmı, sistemlerin önyargılı veya eksik verilere dayandığından kaynaklanmaktadır ve bu nedenle çeşitli eğitim kümeleri geliştirmek çok önemlidir.

Yeni lansman ile Appen, performans farklılıklarını azaltmayı ve konuşma tanıma teknolojisi için daha kapsayıcı bir ortam oluşturmayı hedefliyor. Aynı tür zorluklar, dil yorumlama ve NLP sistemlerinde de mevcuttur.

Mark Brayan, Appen CEO’su.

“Eğitim verilerinin kalitesi ve çeşitliliği, AI modellerindeki performans ve önyargıları doğrudan etkiler” dedi Brayan. “Veri ortağı olarak, AI modellerinin herkes için çalışmasını sağlamak için birçok kullanım durumu için eksiksiz eğitim verisi sağlayabiliriz. Verileri üretmek, etiketlemek ve doğrulamak için çeşitli bir grup bireyi dahil etmek çok önemlidir, böylece eğitilen model sadece adil değil, aynı zamanda sorumlu bir şekilde oluşturulur.”

Appen Dil Projeleri

Appen, çeşitli projeler ve ortaklıklar yoluyla, farklı bir AI ortamı oluşturmaya çalışıyor, bunlar arasında:

• Translators without Borders (TWB) ortaklığı: Appen, TWB, Amazon, Carnegie Mellon Üniversitesi, Facebook, Google, Johns Hopkins Üniversitesi, Microsoft ve Translated ile ortaklık kurdu. Ortaklık, COVID-19 için Çeviri Girişimi (TICO-19)’ne katıldı, bu, dil teknolojisinin çoklu dilde geliştirilmesini destekleyerek COVID-19 bilgilerine erişimi genişletmeye çalıştı. Bunlar arasında Kongo Swahili, Tigrinya ve Nijerya Fulfulde gibi gelişmekte olan ülkeler de yer alıyor.
• Kanada Fransızcası çevirisi projesi: Appen, Microsoft Translator’da “Kanada Fransızcası” dil seçeneğini eklemesine yardımcı oldu, yerli dil danışmanları ile koordine etti.
• Inuktitut çevirisi projesi: Appen, Nunavut Hükümeti ile işbirliği yaptı, bu da Microsoft’un Microsoft Translator’da Inuktitut’u eklemesine yol açtı. Yerel dil, Kanada Arktika’sında konuşulmaktadır.
• Afrika Amerikan Varyant İngilizce (AAVE) hazır veri kümeleri: AAVE konuşmacıları ile çalışarak ve çeşitli konulardaki sohbetler için bir OTS veri kümesi için veri toplamak, Appen AAVE’yi temsil eden yeni eğitim veri kümeleri oluşturmaya çalışıyor.

Dr. Judith Bishop, Appen’de AI Uzmanları Kıdemli Direktörü.

“Önyargılı AI verisi, dựze teslimatını sağlayamayan ve faydalanması gereken kişilere zarar veren projelere yol açar” dedi Dr. Bishop. “AI projelerinin ölçeği ve karmaşıklığı, çoğu şirketin önyargılı olmayan yüksek kaliteli veriyi bir AI veri uzmanı ile ortaklık kurmadan edinmesini imkansız kılar. Appen’in en çeşitli ve uzman veri anotatörü topluluğunu geliştirme taahhüdü, endüstriye adil ve etik AI projeleri oluşturmak için net bir şekilde farklılaştırılmış bir kaynak sağlar.”

Appen, 170’den fazla ülkeden eğitim veri anotatörleri ile desteklenmektedir ve dil temsilcileri arasında 235 benzersiz dil ve 395 lehçe yer almaktadır. Ayrıca, şirketler AI projeleri için yüksek kaliteli eğitim verilerini daha hızlı edinmelerini sağlayan hazır (OTS) veri kümeleri sunar.