Generativ AI är inte en dödsdom för hotade språk

Enligt UNESCO kan upp till hälften av alla språk vara utdöda år 2100. Många människor säger att generativ AI bidrar till denna process.

Minskningen av språklig mångfald började inte med AI – eller internet. Men AI är i en position att påskynda undergången för ursprungsspråk och språk med begränsade resurser.

De flesta av världens 7 000+ språk har inte tillräckliga resurser för att träna AI-modeller – och många saknar en skriftlig form. Detta innebär att ett fåtal stora språk dominerar mänsklighetens lager av potentiell AI-träningsdata, medan de flesta riskerar att lämnas efter i AI-revolutionen – och kan försvinna helt.

Den enkla anledningen är att de flesta tillgängliga AI-träningsdata är på engelska. Engelska är den främsta drivkraften bakom stora språkmodeller (LLM), och människor som talar mindre vanliga språk upptäcker att de är underrepresenterade i AI-teknik.

Tänk på dessa statistik från Världsekonomiskt forum:

• Två tredjedelar av alla webbplatser är på engelska.
• Mycket av de data som GenAI lär sig från är skrapade från webben.
• Färre än 20% av världens befolkning talar engelska.

När AI blir mer integrerat i våra dagliga liv bör vi alla tänka på språklig jämlikhet. AI har en utanför jämförelse potential att lösa problem i stor skala, och dess löfte bör inte begränsas till den engelsktalande världen. AI skapar bekvämligheter och verktyg som förbättrar människors personliga och professionella liv för människor i rika, utvecklade nationer.

Talare av språk med begränsade resurser är vana vid att hitta en brist på representation i tekniken – från att inte hitta webbplatser på sitt språk till att inte ha sin dialekt erkänd av Siri. Mycket av den text som är tillgänglig för att träna AI i språk med färre resurser är av dålig kvalitet (själv översatt med tvivelaktig noggrannhet) och smal i omfång.

Hur kan samhället säkerställa att språk med färre resurser inte lämnas utanför AI-ekvationen? Hur kan vi säkerställa att språk inte är ett hinder för AI:s löfte?

I ett försök att främja språklig inkludering har vissa stora teknikspelare initiativ för att träna stora flerspråkiga språkmodeller (MLM). Microsoft (MSFT ) Translate har till exempel lovat att stödja “varje språk, överallt”. Och Meta har ett löfte om “Inget språk lämnas efter”. Dessa är berömvärda, men är de realistiska?

När vi strävar efter en modell som hanterar varje språk i världen gynnar det de privilegierade eftersom det finns mycket större volymer av data från världens stora språk. När vi börjar hantera språk med färre resurser och språk med icke-latinska skript blir det svårare, tidskrävande – och dyrare att träna AI-modeller. Tänk på det som en oavsiktlig skatt på underrepresenterade språk.

Framsteg inom talteknik

AI-modeller tränas till stor del på text, vilket naturligt gynnar språk med större lagrar av textinnehåll. Språklig mångfald skulle stödjas bättre med system som inte är beroende av text. Mänsklig interaktion var en gång helt baserad på tal, och många kulturer behåller den muntliga fokuseringen. För att bättre tillgodose en global publik måste AI-branschen gå från textdata till taltal.

Forskning gör stora framsteg inom taltal, men det ligger fortfarande efter textbaserade tekniker. Forskning inom talförståelse går framåt, men direkt taltal-till-tal-teknik är långt ifrån mogen. Verkligheten är att branschen tenderar att röra sig försiktigt, och bara när en teknik har utvecklats till en viss nivå.

TransPerfects nyligen släppta GlobalLink Live-tolkningplattform använder de mer mogna formerna av taltal – automatisk talförståelse (ASR) och text-till-tal (TTS) – igen, eftersom de direkta taltal-till-tal-systemen inte är mogna nog ännu. Det ska dock sägas att våra forskarteam förbereder sig för den dag då fullständiga taltal-till-tal-pipeliner är redo för primetime.

Taltal-till-tal- översättningsmodeller erbjuder stort löfte för bevarandet av muntliga språk. 2022 tillkännagav Meta den första AI-drivna taltal-till-tal-översättningssystemet för Hokkien, ett i huvudsak muntligt språk som talas av cirka 46 miljoner människor i den kinesiska diasporan. Det är en del av Metas Universal Speech Translator-projekt, som utvecklar nya AI-modeller som man hoppas ska möjliggöra realtids taltal-till-tal-översättning mellan många språk. Meta valde att öppna källkoden för sina Hokkien-översättningsmodeller, utvärderingsdata och forskningsartiklar så att andra kan reproducera och bygga vidare på deras arbete.

Lärande med mindre

Det faktum att vi som en global gemenskap saknar resurser runt vissa språk är inte en dödsdom för dessa språk. Här har flerspråkiga modeller en fördel, eftersom språken lär av varandra. Alla språk följer mönster. På grund av kunskapsöverföring mellan språk minskas behovet av träningsdata.

Anta att du har en modell som lär sig 90 språk och du vill lägga till Inuit (en grupp ursprungsspråk i Nordamerika). På grund av kunskapsöverföring behöver du mindre Inuit-data. Vi hittar sätt att lära med mindre. Mängden data som behövs för att finjustera motorer är lägre.

Jag är hoppfull om en framtid med mer inkluderande AI. Jag tror inte att vi är dömda att se en mängd språk försvinna – eller att AI kommer att förbli domänen för den engelsktalande världen. Redan ser vi mer medvetenhet kring frågan om språklig jämlikhet. Från mer diversifierad datainsamling till att bygga mer språkspecifika modeller, gör vi framsteg.

Överväg Fon, ett språk som talas av cirka 4 miljoner människor i Benin och angränsande afrikanska länder. Inte så länge sedan beskrev en populär AI-modell Fon som ett fiktivt språk. En datavetare vid namn Bonaventure Dosseau, vars mor talar Fon, var van vid den här sortens exkludering. Dosseau, som talar franska, växte upp utan något översättningsprogram för att kommunicera med sin mor. Idag kan han kommunicera med sin mor tack vare en Fon-franska översättare som han noggrant byggt. Idag finns det också en blomstrande Fon Wikipedia.

I ett försök att använda teknologi för att bevara språk har den turkiska konstnären Refik Anadol startat skapandet av ett öppen källkods AI-verktyg för ursprungsbefolkningar. På Världsekonomiskt toppmöte frågade han: “Hur på jorden kan vi skapa en AI som inte känner till hela mänskligheten?”

Vi kan inte, och vi kommer inte att göra det.