Appen Limited Meluncurkan Set Data Pelatihan yang Beragam untuk NLP

Appen Limited, penyedia utama data pelatihan berkualitas tinggi untuk perusahaan yang ingin membangun sistem AI skala besar, meluncurkan set data pelatihan yang beragam baru untuk inisiatif pemrosesan bahasa alami (NLP). Set data ini akan memungkinkan pengguna akhir untuk menerima pengalaman yang sama terlepas dari variasi bahasa, dialek, etnolek, aksen, ras, atau jenis kelamin. 

Menurut laporan oleh PNAS pada Maret 2020, sistem pengenalan ucapan otomatis (ASR) populer, terutama yang digunakan untuk asisten virtual, caption tertutup, dan komputasi tangan-bebas, sering menunjukkan disparitas rasial dalam kinerja. Sebagian besar hal ini terkait dengan sistem yang didasarkan pada data yang bias atau tidak lengkap, dan ini adalah alasan mengapa sangat penting untuk mengembangkan set pelatihan yang beragam. 

Dengan peluncuran baru, Appen bertujuan untuk mengurangi perbedaan kinerja dan menciptakan lingkungan yang lebih inklusif untuk teknologi pengenalan suara. Tantangan yang sama ada dalam interpretasi bahasa dan sistem NLP. 

Mark Brayan adalah CEO Appen. 

“Kualitas dan keragaman data pelatihan langsung mempengaruhi kinerja dan bias yang ada dalam model AI,” kata Brayan. “Sebagai mitra data, kami dapat menyediakan data pelatihan lengkap untuk banyak kasus penggunaan untuk memastikan model AI bekerja untuk semua orang. Sangat penting bahwa kami melibatkan sekelompok orang yang beragam untuk menghasilkan, melabeli, dan memvalidasi data untuk memastikan model yang sedang dilatih tidak hanya adil, tetapi juga dibangun dengan bertanggung jawab.”

Proyek Bahasa Appen

Appen berusaha untuk menciptakan lingkungan AI yang beragam melalui proyek dan kemitraan yang berbeda, termasuk: 

• Kemitraan Translators without Borders (TWB): Appen telah bermitra dengan TWB, Amazon (AMZN ), Carnegie Mellon University, Facebook (META ), Google (GOOGL ), Johns Hopkins University, Microsoft (MSFT ), dan Translated. Kemitraan ini telah bergabung dengan Inisiatif Terjemahan untuk COVID-19 (TICO-19), yang berusaha untuk memperluas akses ke informasi COVID-19 dengan mendukung pengembangan teknologi bahasa dalam banyak bahasa. Ini termasuk negara-negara berkembang seperti Swahili Kongo, Tigrinya, dan Fulfulde Nigeria.

• Proyek terjemahan bahasa Perancis Kanada: Appen membantu Microsoft menambahkan “Bahasa Perancis Kanada” sebagai pilihan bahasa di Microsoft Translator setelah berkoordinasi dengan konsultan bahasa asli.
  
• Proyek terjemahan Inuktitut: Appen berkolaborasi dengan Pemerintah Nunavut yang membantu memimpin Microsoft menambahkan Inuktitut ke Microsoft Translator. Bahasa asli ini dituturkan di Arktik Kanada.

• Set data off-the-shelf untuk Bahasa Inggris Vernakular Afrika-Amerika (AAVE): Dengan bekerja sama dengan penutur AAVE dan mengumpulkan data untuk set data off-the-shelf berdasarkan percakapan tentang berbagai topik, Appen berusaha untuk membuat set data pelatihan baru yang mewakili AAVE. 

Dr. Judith Bishop adalah Direktur Senior Spesialis AI di Appen.

“Data AI yang bias menyebabkan proyek yang dapat gagal untuk menghasilkan hasil bisnis yang diharapkan dan merugikan individu yang seharusnya diuntungkan,” kata Dr. Bishop. “Skala dan kompleksitas proyek AI membuatnya mustahil bagi sebagian besar perusahaan untuk memperoleh data yang tidak bias dan berkualitas tinggi tanpa bermitra dengan ahli data AI. Komitmen Appen untuk mengembangkan kerumunan data annotator yang paling beragam dan ahli memberikan industri dengan sumber daya yang berbeda untuk membangun proyek AI yang adil dan etis.”

Appen dibantu oleh annotator data pelatihan dari lebih dari 170 negara, dan representasi bahasa mencakup 235 bahasa unik dan 395 dialek. Ini juga menawarkan set data off-the-shelf (OTS), yang memungkinkan bisnis untuk memperoleh data pelatihan berkualitas tinggi lebih cepat untuk proyek AI mereka.