Nowy model sztucznej inteligencji współpracuje z szerszą różnorodnością języków ludzkich

Naukowcy z Uniwersytetu Waterloo opracowali model sztucznej inteligencji, który umożliwia komputerom przetwarzanie większej liczby języków ludzkich. Jest to ważny krok naprzód w tej dziedzinie, biorąc pod uwagę, jak wiele języków często pozostaje w tyle w procesie programowania. Informatycy często nie skupiają uwagi na językach afrykańskich, co prowadzi do ograniczeń możliwości przetwarzania języka naturalnego (NLP) na kontynencie. 

Nowy model językowy został opracowany przez zespół naukowców ze Szkoły Informatyki Davida R. Cheritona na Uniwersytecie Waterloo.

Połączenia Badania naukowe zostało zaprezentowane podczas warsztatów uczenia się reprezentacji wielojęzycznej podczas konferencji na temat metod empirycznych w przetwarzaniu języka naturalnego w 2021 r. 

Model odgrywa kluczową rolę, pomagając komputerom analizować tekst w językach afrykańskich pod kątem wielu przydatnych zadań i nosi nazwę AfriBERTa. Wykorzystuje techniki głębokiego uczenia się, aby osiągnąć imponujące wyniki w przypadku języków o niskich zasobach.

Praca z 11 językami afrykańskimi

Obecnie AfriBERTa współpracuje z 11 konkretnymi językami afrykańskimi, w tym amharskim, hausa i suahili, którymi posługuje się łącznie ponad 400 milionów ludzi. Model wykazał jakość wyjściową porównywalną z najlepszymi istniejącymi modelami, a dokonał tego podczas uczenia się jedynie z jednego gigabajta tekstu. Inne podobne modele często wymagają tysięcy razy więcej danych.

Kelechi Ogueji jest studentem studiów magisterskich na kierunku informatyka w Waterloo.

„Wstępnie wytrenowane modele językowe zmieniły sposób, w jaki komputery przetwarzają i analizują dane tekstowe na potrzeby różnych zadań, od tłumaczenia maszynowego po odpowiadanie na pytania” – powiedział Ogueji. „Niestety, języki afrykańskie nie wzbudziły większego zainteresowania społeczności badawczej”.

„Jednym z wyzwań jest to, że tworzenie sieci neuronowych wymaga zdumiewająco dużej ilości tekstu i dużej ilości komputerów. I w przeciwieństwie do języka angielskiego, w którym dostępnych jest mnóstwo tekstu, większość z około 7,000 języków używanych na całym świecie można scharakteryzować jako języki o niskich zasobach, ponieważ brakuje danych, które mogłyby zasilić sieci neuronowe wymagające dużej ilości danych”.

Technika przedtreningowa

Większość tych modeli opiera się na technice przedtreningowej, która polega na tym, że badacz prezentuje modelowi tekst, w którym niektóre słowa są ukryte lub zamaskowane. Następnie model musi odgadnąć ukryte słowa i powtarza ten proces miliardy razy. W końcu uczy się statystycznych powiązań między słowami, co jest podobne do ludzkiej wiedzy o języku.

Jimmy Lin jest dyrektorem Cheriton w dziedzinie informatyki i doradcą Ogueji. 

„Możliwość wstępnego uczenia modeli, które są równie dokładne w przypadku niektórych dalszych zadań, ale przy użyciu znacznie mniejszych ilości danych, ma wiele zalet” – powiedział Lin. „Potrzeba mniejszej ilości danych do wytrenowania modelu językowego oznacza, że ​​potrzeba mniej obliczeń, a w konsekwencji niższa emisja dwutlenku węgla związana z obsługą ogromnych centrów danych. Mniejsze zbiory danych sprawiają również, że selekcja danych jest bardziej praktyczna, co jest jednym ze sposobów ograniczenia błędów występujących w modelach”.

„Ta praca stanowi mały, ale ważny krok w kierunku udostępnienia możliwości przetwarzania języka naturalnego ponad 1.3 miliarda ludzi na kontynencie afrykańskim”.

W badaniu uczestniczyła także Yuxin Zhu, która niedawno ukończyła studia licencjackie na kierunku informatyka na uniwersytecie.