Sztuczna inteligencja generatywna nie jest wyrokiem śmierci dla języków zagrożonych

Według UNESCO, do 2100 roku może zniknąć nawet połowa języków. Wiele osób twierdzi, że sztuczna inteligencja generatywna przyczynia się do tego procesu.

Spadek różnorodności językowej nie rozpoczął się od sztucznej inteligencji, ani od Internetu. Ale sztuczna inteligencja jest w stanie przyspieszyć upadek języków rdzennych i o ograniczonych zasobach.

Większość z 7 000 języków na świecie nie ma wystarczających zasobów, aby przeszkolić modele sztucznej inteligencji, a wiele z nich nie ma nawet formy pisanej. Oznacza to, że tylko kilka głównych języków dominuje w zasobach danych sztucznej inteligencji, podczas gdy większość pozostaje w tyle w rewolucji sztucznej inteligencji i może całkowicie zniknąć.

Prosta przyczyna jest taka, że większość dostępnych danych sztucznej inteligencji jest w języku angielskim. Angielski jest głównym motorem dużych modeli językowych (LLM), a osoby mówiące mniej powszechnymi językami znajdują się w mniejszości w technologiach sztucznej inteligencji.

Rozważ te statystyki z World Economic Forum:

• Dwie trzecie wszystkich stron internetowych jest w języku angielskim.
• Większość danych, których uczy się GenAI, jest pobierana z Internetu.
• Mniej niż 20% ludności świata mówi po angielsku.

Podczas gdy sztuczna inteligencja staje się coraz bardziej zintegrowana z naszym codziennym życiem, powinniśmy wszyscy myśleć o równości językowej. Sztuczna inteligencja ma niezwykły potencjał do rozwiązywania problemów na dużą skalę, a jej obietnica nie powinna być ograniczona do świata anglojęzycznego. Sztuczna inteligencja tworzy udogodnienia i narzędzia, które poprawiają życie osobiste i zawodowe ludzi w bogatych, rozwiniętych krajach.

Mówcy języków o ograniczonych zasobach są przyzwyczajeni do znajdowania braku reprezentacji w technologiach – od braku stron internetowych w ich języku po brak rozpoznania ich dialektu przez Siri. Większość tekstu, który jest dostępny do szkolenia sztucznej inteligencji w językach o niższych zasobach, jest niska jakościowo (sam w sobie przetłumaczony z wątpliwą dokładnością) i wąski w zakresie.

Jak społeczeństwo może zapewnić, że języki o niższych zasobach nie zostaną pominięte w równaniu sztucznej inteligencji? Jak możemy zapewnić, że język nie będzie barierą dla obietnicy sztucznej inteligencji?

W ramach wysiłku na rzecz inkluzywności językowej niektórzy główni gracze technologiczni mają inicjatywy szkolenia ogromnych wielojęzycznych modeli językowych (MLM). Microsoft (MSFT ) Translate, na przykład, zobowiązał się do wspierania „każdego języka, wszędzie”. I Meta ma obietnicę „Żaden język nie pozostanie w tyle”. Są to godne pochwały, ale czy są realistyczne?

Aspirując do jednego modelu, który obsługuje każdy język na świecie, faworyzuje to uprzywilejowanych, ponieważ istnieją o wiele większe ilości danych z głównych języków świata. Kiedy zaczynamy mieć do czynienia z językami o niższych zasobach i językami o niełacińskich skryptach, szkolenie modeli sztucznej inteligencji staje się bardziej uciążliwe, czasochłonne – i droższe. Można to porównać do niezamierzonego podatku od języków niedoreprezentowanych.

Postępy w technologii mowy

Modele sztucznej inteligencji są w dużej mierze szkolone na tekście, co naturalnie faworyzuje języki z głębszymi zasobami treści tekstowych. Różnorodność językowa byłaby lepiej wspierana przez systemy, które nie zależą od tekstu. Interakcje ludzkie w pewnym momencie były oparte wyłącznie na mowie, a wiele kultur zachowuje ten oralny charakter. Aby lepiej sprostać globalnej publiczności, przemysł sztucznej inteligencji musi rozwinąć się od danych tekstowych do danych mowy.

Badania robią ogromne postępy w technologii mowy, ale nadal pozostają w tyle za technologiami opartymi na tekście. Badania nad przetwarzaniem mowy są w toku, ale technologia bezpośredniej mowy na mowę jest jeszcze nie dojrzała. Rzeczywistość jest taka, że przemysł porusza się ostrożnie i tylko wtedy, gdy technologia osiąga pewien poziom.

Nowo wydany przez TransPerfect platforma interpretacji GlobalLink Live wykorzystuje bardziej dojrzałe formy technologii mowy – automatyczne rozpoznawanie mowy (ASR) i tekst na mowę (TTS) – ponownie, ponieważ systemy bezpośredniej mowy na mowę nie są jeszcze dojrzałe. Powiedzmy, że nasze zespoły badawcze przygotowują się na dzień, kiedy w pełni funkcjonalne potoki mowy na mowę będą gotowe.

Modele tłumaczenia mowy na mowę obiecują wiele w zakresie zachowania języków o charakterze oralnym. W 2022 roku Meta ogłosiła pierwszy system tłumaczenia mowy na mowę oparty na sztucznej inteligencji dla języka Hokkien, którym posługuje się około 46 milionów ludzi w diasporze chińskiej. Jest to część projektu Meta Universal Speech Translator, który rozwija nowe modele sztucznej inteligencji, które mają umożliwić tłumaczenie mowy na mowę w czasie rzeczywistym między wieloma językami. Meta postanowiła udostępnić swoje modele tłumaczenia Hokkien, zestawy danych i prace badawcze, aby inni mogli odtworzyć i rozwinąć tę pracę.

Uczenie się z mniejszą ilością

Fakt, że jako globalna społeczność brakuje nam zasobów wokół pewnych języków, nie jest wyrokiem śmierci dla tych języków. To jest miejsce, w którym modele wielojęzyczne mają przewagę, ponieważ języki uczą się od siebie. Wszystkie języki podążają za wzorcami. Ze względu na transfer wiedzy między językami potrzeba danych szkoleniowych jest mniejsza.

Załóżmy, że masz model, który uczy się 90 języków i chcesz dodać język Inuit (grupę języków rdzennych Ameryki Północnej). Ze względu na transfer wiedzy będziesz potrzebować mniej danych Inuit. Znajdujemy sposoby, aby uczyć się z mniejszą ilością. Ilość danych potrzebnych do dostrajania silników jest mniejsza.

Mam nadzieję na przyszłość z bardziej inkluzywną sztuczną inteligencją. Nie wierzę, że jesteśmy skazani na to, aby zobaczyć mnóstwo języków, które znikają – ani nie myślę, że sztuczna inteligencja pozostanie domeną świata anglojęzycznego. Już teraz widzimy więcej świadomości wokół kwestii równości językowej. Od bardziej różnorodnego zbierania danych po tworzenie bardziej językowo-specyficznych modeli, robimy postępy.

Rozważ język Fon, którym posługuje się około 4 milionów ludzi w Beninie i sąsiednich afrykańskich krajach. Nie tak dawno popularny model sztucznej inteligencji opisał język Fon jako fikcyjny. Komputerowy naukowiec o imieniu Bonaventure Dosseau, którego matka mówi po Fon, był przyzwyczajony do tego rodzaju wykluczenia. Dosseau, który mówi po francusku, dorastał bez programu tłumaczącego, który mógłby pomóc mu porozumieć się z matką. Dziś może porozmawiać z matką dzięki tłumaczeniu Fon-Francuski, które on sam starannie zbudował. Dziś istnieje również zalążek Wikipedii w języku Fon.

W ramach wysiłku na rzecz zachowania języków przy użyciu technologii, turecki artysta Refik Anadol rozpoczął tworzenie otwartego narzędzia sztucznej inteligencji dla ludów rdzennych. Na Światowym Szczycie Ekonomicznym zapytał: „Jak na Ziemi możemy stworzyć sztuczną inteligencję, która nie zna całej ludzkości?”

Nie możemy, i nie będziemy.