Generativ AI er ikke en dødsdom for truede sprog

Ifølge UNESCO, kan op til halvdelen af verdens sprog være uddøde inden 2100. Mange mennesker siger, at generativ AI bidrager til denne proces.

Tilbageskridtet i sprogdiversitet startede ikke med AI eller internettet. Men AI er i en position til at accelerere undergangen af indfødt og lavresurs-sprog.

De fleste af verdens 7.000+ sprog har ikke tilstrækkelige ressourcer til at træne AI-modeller – og mange mangler en skriftlig form. Dette betyder, at nogle få store sprog dominerer menneskehedens lager af potentiel AI-træningsdata, mens de fleste er på vej til at blive efterladt i AI-revolutionen – og kan forsvinde helt.

Den enkle årsag er, at de fleste tilgængelige AI-træningsdata er på engelsk. Engelsk er hovedmotoren bag store sprogmodeller (LLM), og mennesker, der taler mindre udbredte sprog, finder sig selv underrepræsenteret i AI-teknologi.

Overvej disse statistikker fra World Economic Forum:

• To tredjedele af alle websites er på engelsk.
• Meget af de data, som GenAI lærer af, er skrabet fra webben.
• Færre end 20% af verdens befolkning taler engelsk.

Da AI bliver mere integreret i vores daglige liv, bør vi alle tænke over sproglig lighed. AI har en uhørt potentiel til at løse problemer i stor skala, og dens løfte bør ikke være begrænset til den engelsktalende verden. AI skaber bekvemmeligheder og værktøjer, der forbedrer menneskers personlige og professionelle liv i velstående, udviklede nationer.

Talere af lavresurs-sprog er vant til at finde en mangel på repræsentation i teknologi – fra ikke at finde websites på deres sprog til ikke at have deres dialekt anerkendt af Siri. Meget af den tekst, der er tilgængelig til at træne AI i lavresurs-sprog, er af dårlig kvalitet (selv oversat med tvivlsom nøjagtighed) og smal i omfang.

Hvordan kan samfundet sikre, at lavresurs-sprog ikke bliver efterladt i AI-ligningen? Hvordan kan vi sikre, at sprog ikke er en barriere for AI’s løfte?

I et forsøg på at opnå sproglig inklusivitet har nogle store tekniske spillere initiativer til at træne enorme multilinguale sprogmodeller (MLM). Microsoft (MSFT ) Translate har for eksempel lovet at støtte “hvert sprog, overalt”. Og Meta har et “Ingen sprog tilbage”-løfte. Disse er lovlige, men er de realistiske?

Da man stræber efter en model, der kan håndtere hvert sprog i verden, favoriserer det de privilegerede, fordi der er langt større mængder af data fra verdens store sprog. Når vi begynder at beskæftige os med lavresurs-sprog og sprog med ikke-latinske skriftsystemer, bliver træning af AI-modeller mere anstrengende, tidskrævende – og mere dyrt. Tænk på det som en ufrivillig skat på underrepræsenterede sprog.

Fremskridt i taleteknologi

AI-modeller er primært trænet på tekst, hvilket naturligt favoriserer sprog med dybere lagre af tekstindhold. Sprogdiversitet ville være bedre understøttet med systemer, der ikke afhænger af tekst. Menneskelig interaktion var engang helt baseret på tale, og mange kulturer fastholder denne mundtlige fokus. For bedre at tilpasse sig en global publikum, må AI-industrien udvikle sig fra tekstdata til taledata.

Forskning gør store fremskridt i taleteknologi, men det er stadig langt bagud i forhold til tekstbaserede teknologier. Forskning i talebehandling er i gang, men direkte tale-til-tale-teknologi er langt fra moden. Virkeligheden er, at industrien tendrer til at bevæge sig forsigtigt, og kun når en teknologi er udviklet til en vis niveau.

TransPerfects nyligt udgivne GlobalLink Live-tolkeplatform bruger de mere modne former for taleteknologi – automatisk talegenkendelse (ASR) og tekst-til-tale (TTS) – igen, fordi de direkte tale-til-tale-systemer ikke er modne nok på dette tidspunkt. Det sagde, vores forskningsteams er klar til den dag, hvor fuldt tale-til-tale-rørledninger er klar til at gå i produktion.

Tale-til-tale oversættelsesmodeller tilbyder stor løfte i bevaringen af mundtlige sprog. I 2022 annoncerede Meta den første AI-drevne tale-til-tale-oversættelsessystem til Hokkien, et primært mundtligt sprog talt af omkring 46 millioner mennesker i den kinesiske diaspora. Det er en del af Metas Universal Speech Translator-projekt, der udvikler nye AI-modeller, som det håber vil kunne aktivere realtids tale-til-tale-oversættelse på tværs af mange sprog. Meta valgte at åbne sine Hokkien-oversættelsesmodeller, evalueringssæt og forskningspapirer, så andre kan reproducere og bygge videre på deres arbejde.

Læring med mindre

Det faktum, at vi som en global samfund mangler ressourcer omkring visse sprog, er ikke en dødsdom for disse sprog. Dette er, hvor multilinguale modeller har en fordel, da sprogene lærer af hinanden. Alle sprog følger mønstre. På grund af vidensoverføring mellem sprog, er behovet for træningsdata mindsket.

Forestil dig, at du har en model, der lærer 90 sprog, og du vil tilføje Inuit (en gruppe indfødte nordamerikanske sprog). På grund af vidensoverføring, har du brug for mindre Inuit-data. Vi finder måder at lære med mindre på. Mængden af data, der er nødvendig for at finjustere motorer, er lavere.

Jeg er optimistisk omkring en fremtid med mere inklusiv AI. Jeg tror ikke, at vi er dømt til at se masser af sprog forsvinde – eller at AI vil forblive domænet for den engelsktalende verden. Allerede nu ser vi mere opmærksomhed omkring spørgsmålet om sproglig lighed. Fra mere divers dataindsamling til opbygning af mere sprog-specifikke modeller, er vi på vej.

Overvej Fon, et sprog talt af omkring 4 millioner mennesker i Benin og nærliggende afrikanske lande. Ikke så længe siden, beskrev en populær AI-model Fon som et fiktivt sprog. En datalog ved navn Bonaventure Dosseau, hvis mor taler Fon, var vant til denne type udelukkelse. Dosseau, der taler fransk, voksede op med ingen oversættelsesprogram til at hjælpe ham med at kommunikere med sin mor. I dag kan han kommunikere med sin mor takket være en Fon-fransk oversætter, som han selv byggede. I dag er der også en spæd Fon Wikipedia.

I et forsøg på at bruge teknologi til at bevare sprog, har den tyrkiske kunstner Refik Anadol startet opbygningen af et åbent AI-værktøj til indfødte folk. Ved Verdensøkonomisk Topmøde spurgte han: “Hvordan på jorden kan vi skabe en AI, der ikke kender hele menneskeheden?”

Vi kan ikke, og vi vil ikke.