Model AI Baru Bekerja Dengan Berbagai Bahasa Manusia

Peneliti di Universitas Waterloo telah mengembangkan model AI yang memungkinkan komputer untuk memproses berbagai bahasa manusia. Ini adalah langkah maju yang signifikan dalam bidang ini, mengingat banyak bahasa yang sering terabaikan dalam proses pemrograman. Bahasa Afrika sering tidak menjadi fokus ilmuwan komputer, yang telah menyebabkan kemampuan pemrosesan bahasa alami (NLP) terbatas di benua tersebut.

Model bahasa baru ini dikembangkan oleh tim peneliti di Sekolah Ilmu Komputer David R. Cheriton, Universitas Waterloo.

Penelitian ini dipresentasikan pada Workshop Pembelajaran Representasi Multibahasa di Konferensi 2021 tentang Metode Empiris dalam Pemrosesan Bahasa Alami.

Model ini memainkan peran kunci dalam membantu komputer menganalisis teks dalam bahasa Afrika untuk banyak tugas yang berguna, dan disebut AfriBERTa. Ini menggunakan teknik pembelajaran dalam untuk mencapai hasil yang impresif untuk bahasa dengan sumber daya yang terbatas.

Bekerja Dengan 11 Bahasa Afrika

AfriBERTa bekerja dengan 11 bahasa Afrika tertentu saat ini, termasuk Amharic, Hausa, dan Swahili, yang digunakan oleh lebih dari 400 juta orang. Model ini telah menunjukkan kualitas output yang setara dengan model terbaik yang ada, dan itu dilakukan dengan hanya belajar dari satu gigabyte teks. Model lain yang serupa sering memerlukan data yang jauh lebih banyak.

Kelechi Ogueji adalah mahasiswa magister ilmu komputer di Waterloo.

“Model bahasa pra-dilatih telah mengubah cara komputer memproses dan menganalisis data teks untuk tugas-tugas seperti terjemahan mesin hingga menjawab pertanyaan,” kata Ogueji. “Sayangnya, bahasa Afrika telah menerima sedikit perhatian dari komunitas penelitian.”

“Salah satu tantangan adalah bahwa jaringan neural sangat memerlukan teks dan komputasi yang intensif untuk dibangun. Dan tidak seperti bahasa Inggris, yang memiliki kuantitas teks yang sangat besar, sebagian besar dari 7.000 bahasa yang digunakan di seluruh dunia dapat digambarkan sebagai bahasa dengan sumber daya yang terbatas, karena kurangnya data yang tersedia untuk memberi makan jaringan neural yang lapar data.”

Teknik Pra-Pelatihan

Sebagian besar model ini bergantung pada teknik pra-pelatihan, yang melibatkan peneliti mempresentasikan model dengan teks yang memiliki beberapa kata yang tersembunyi atau ditutupi. Model kemudian harus menebak kata-kata yang tersembunyi, dan itu terus mengulangi proses ini miliaran kali. Akhirnya, itu belajar mengenai asosiasi statistik antara kata-kata, yang mirip dengan pengetahuan bahasa manusia.

Jimmy Lin adalah Ketua Ilmu Komputer Cheriton dan penasihat Ogueji.

“Dapat memprapelatih model yang sama akuratnya untuk tugas-tugas hilir tertentu, tetapi menggunakan jumlah data yang jauh lebih kecil memiliki banyak kelebihan,” kata Lin. “Membutuhkan lebih sedikit data untuk melatih model bahasa berarti bahwa lebih sedikit komputasi yang diperlukan dan akibatnya emisi karbon yang lebih rendah yang terkait dengan operasi pusat data yang besar. Dataset yang lebih kecil juga membuat kurasi data lebih praktis, yang merupakan salah satu pendekatan untuk mengurangi bias yang ada dalam model.”

“Penelitian ini mengambil langkah kecil tetapi penting untuk membawa kemampuan pemrosesan bahasa alami ke lebih dari 1,3 miliar orang di benua Afrika.”

Penelitian ini juga melibatkan Yuxin Zhu, yang baru saja menyelesaikan gelar sarjana dalam ilmu komputer di universitas.