Generatiivinen tekoäly ei ole kuolemantuomio uhanalaisille kielille

UNESCO:n mukaan jopa puolet kielistä voi kuolla sukupuuttoon vuoteen 2100 mennessä. Monet sanovat, että generatiivinen tekoäly edistää tätä prosessia.

Kielen monimuotoisuuden lasku ei alkanut tekoälystä tai internetistä. Mutta tekoäly on asemassa nopeuttaa alkuperäiskansojen ja vähävaraisuuksien kielten tuhon.

Maailman yli 7 000:sta kielestä useimmat eivät ole tarpeeksi resursseja kouluttaa tekoälymallit – ja monet puuttuvat kirjallinen muoto. Tämä tarkoittaa, että muutamia suurta kieltä hallitsee ihmiskunnan tekoälykoulutusdatan varasto, kun taas useimmat jäävät jälkeen tekoälyvallankumouksessa – ja voivat hävitä kokonaan.

Yksinkertainen syy on, että suurin osa saatavilla olevasta tekoälykoulutusdatasta on englanniksi. Englanti on suurten kielimallien (LLM) pääasiallinen moottori, ja vähemmän yleisten kielten puhujat löytävät itsensä aliedustettuina tekoälyteknologiassa.

Tarkastele näitä tilastoja Maailman talousfoorumin sivuilta:

• Kaksi kolmasosaa kaikista verkkosivuista on englanniksi.
• Suuri osa dataa, josta GenAI oppii, kerätään verkosta.
• Vähemmän kuin 20 % maailman väestöstä puhuu englantia.

Kun tekoäly muodostuu osaksi arkipäiväämme, meidän kaikkien tulisi miettiä kielitasa-arvoa. Tekoälyllä on ennenkuulumaton potentiaali ratkaista ongelmia laajassa mittakaavassa, ja sen lupauksen ei tulisi rajoittua englanninkieliseen maailmaan. Tekoäly luo mukavuuksia ja työkaluja, jotka parantavat ihmisten henkilökohtaista ja ammatillista elämää varakkaissa, kehittyneissä valtioissa.

Vähävaraisuuksien kielten puhujat ovat tottuneet löytämään edustuksen puutetta teknologiasta – verkkosivuja, joilla ei ole heidän kieltään, tai heidän murteensa ei tunnista Siri. Paljon tekstiä, josta on saatavilla kouluttaa tekoälyä vähävaraisuuksissa kielissä, on huonolaatuista (se on käännöksistä epävarmalla tarkkuudella) ja suppea laajuudessa.

Miten yhteiskunta voi varmistaa, ettei vähävaraisuuksien kielten jää pois tekoälyn yhtälöstä? Miten voimme varmistaa, ettei kieli ole este tekoälyn lupaukselle?

Monikielisen kielimallin kehittämiseen pyrkivien suurten teknologiayritysten aloitteiden myötä pyritään kouluttamaan valtavia monikielisiä kielimalleja (MLM). Esimerkiksi Microsoft (MSFT ) Translate on luvannut tukea “jokaista kieltä, kaikkialla”. Ja Meta on luvannut “Ei yhtään kieltä jää jälkeen” -lupauksen. Nämä ovat kiitettäviä, mutta ovatko ne realistisia?

Kohdistamalla yhteen malliin, joka käsittelee jokaista kieltä maailmassa, suosii etuoikeutettuja, koska maailman suurimmista kielistä on paljon enemmän dataa. Kun käsittelemme vähävaraisuuksien kielten ja ei-latinankielisten kielten kanssa, tekoälymallien kouluttaminen tulee raskaammaksi, aikaa vievemmäksi – ja kalliimmaksi. Ajattele sitä kuin tahattomana verona aliedustetuille kielille.

Edistysaskelia puheentunnistusteknologiassa

Tekoälymallit koulutetaan pääasiassa tekstistä, mikä luonnollisesti suosii kieliä, joilla on syvempiä tekstisisältöjä. Kielen monimuotoisuutta voitaisiin paremmin tukea järjestelmillä, jotka eivät riipu tekstistä. Inhimillinen vuorovaikutus oli aikoinaan täysin puhetta, ja monet kulttuurit säilyttävät sen suullisen painopisteen. Paremman maailmanlaajuisen yleisön palvelemiseksi tekoälyteollisuuden on edettävä tekstidatasta puhedataan.

Tutkimus tekee valtavia edistysaskelia puheentunnistusteknologiassa, mutta se jää edelleen tekstipohjaisia teknologioita. Puheen prosessointiin liittyvä tutkimus on edistyssä, mutta suora puhe-puhe -teknologia on vielä kaukana kypsymisestä. Totuus on, että teollisuus liikkuu varovasti, ja vain kun teknologia on edennyt tiettyyn tasoaan.

TransPerfectin uusin GlobalLink Live -tulkkausjärjestelmä käyttää kypsimpiä puheentunnistusteknologian muotoja – automaattista puheentunnistusta (ASR) ja teksti-puhe -järjestelmää (TTS) – taas, koska suora puhe-puhe -järjestelmä ei ole vielä kypsynyt. Sanomme, että tutkimusryhmämme valmistelee päivää, jolloin täysin puhe-puhe -putkistot ovat valmiit.

Puhe-puhe -käännösmallit tarjoavat valtavan luvun suullisten kielten säilyttämisessä. Vuonna 2022 Meta julkaisi ensimmäisen tekoälyvoimin varustetun puhe-puhe -käännösjärjestelmän hokkienin kielelle, jota puhuu noin 46 miljoonaa ihmistä Kiinan diasporassa. Se on osa Meta Universal Speech Translator -hanketta, jossa kehitetään uusia tekoälymallit, joilla toivotaan mahdollistavan reaaliaikaisen puhe-puhe -käännöksen useilla kielillä. Meta päätti julkaista avoimen lähdekoodin hokkienin käännösmallit, arviointidata ja tutkimuspaperit, jotta muut voivat toistaa ja rakentaa sen työn pohjalta.

Oppiminen vähemmällä

Se, että meillä globaaleina yhteisöinä puuttuu resursseja tiettyjen kielten ympärillä, ei ole kuolemantuomio näille kielille. Tässä monikieliset mallit ovat edullisia, koska kielet oppivat toisiltaan. Kaikki kielet noudattavat kaavoja. Koska tieto siirtyy kielten välillä, tarve koulutusdataa vähenee.

Oletetaan, että sinulla on malli, joka oppii 90 kieltä ja haluat lisätä inuiitin (ryhmä alkuperäiskansojen Pohjois-Amerikan kieli). Koska tieto siirtyy kielten välillä, tarvitset vähemmän inuiittidataa. Olemme löytämässä keinoja oppia vähemmällä. Moottorien hienosäätöä varten tarvittava datamäärä on alempi.

Toivon tulevaisuutta, jossa on enemmän inklusiivista tekoälyä. En usko, että olemme tuomittuja näkemään joukon kieliä kuolevan – enkä usko, että tekoäly pysyy englanninkielisen maailman alueena. Jo nyt näemme enemmän tietoisuutta kielen tasa-arvon asiasta. Monipuolisemmasta datan keräämisestä kielen mukaisiin malleihin, teemme edistystä.

Tarkastele fonin kieltä, jota puhuu noin 4 miljoonaa ihmistä Beninissä ja sen naapurimaissa. Ei niin kauan sitten suosittu tekoälymalli kuvasi fonin kuvitteelliseksi kieleksi. Tietokoneen tutkija Bonaventure Dosseau, jonka äiti puhuu fonin kieltä, tottui tähänlaisiin sulkeisiin. Dosseau, joka puhuu ranskaa, kasvoi ilman käännösohjelmaa, joka auttaisi häntä viestimään äidillään. Nykyään hän voi viestiä äidillään fon-ranskan kääntäjän avulla, jonka hän rakensi vaivalla. Nykyään on myös fonin Wikipedia.

Pyrkimyksenä käyttää teknologiaa kielten säilyttämiseen, turkkilainen taiteilija Refik Anadol on käynnistänyt avoimen lähdekoodin tekoälytyökalun alkuperäiskansoille. Maailman taloushuipentumassa hän kysyi: “Miten voimme luoda tekoälyn, joka ei tunne koko ihmiskuntaa?”

Emme voi, eikä me tehdä.