Olga Beregovaya, Smartlingin tekoälystä vastaava varatoimitusjohtaja – haastattelusarja

Olga Beregovaya on Smartlingin tekoälystä vastaava varatoimitusjohtaja. Hän johtaa tekoälystrategiaa, joka kattaa kääntämisen, datan, laadun ja turvallisuuden. Hän on työskennellyt luonnollisen kielen käsittelyn parissa vuodesta 1997 ja tutustunut sääntöpohjaisiin järjestelmiin, tilastollisiin malleihin, neuroverkkoihin ja suuriin kielimalleihin. Ennen Smartlingiin siirtymistään hän toimi tekoälyinnovaatioista vastaavana varatoimitusjohtajana Welocalizessa ja PROMT Americasin toimitusjohtajana.

Smartling tarjoaa yrityksille käännös- ja lokalisointiohjelmistoja sekä palveluja, joissa yhdistyvät tekoäly ja konekääntäminen ihmisten asiantuntemukseen. Sen alusta tukee monikielisiä työnkulkuja verkkosivustoille, sovelluksille, markkinointisisällöille, asiakirjoille ja multimedialle. Käytettävissä on yli 20 suurta kielimallia (LLM) ja konekäännösmoottoria. Tässä haastattelussa Beregovaya puhuu tekoälyn monikielisyydessä vallitsevasta kuilusta, käännösten laadusta, mallien valinnasta ja ihmisen valvonnan merkityksestä automatisoidussa lokalisoinnissa.

Miten tämä matka on vaikuttanut käsitykseesi tekoälyn roolista kielessä, ja mikä sai sinut johtamaan Smartlingin tekoälystrategiaa?

Opiskelin kielten rakenteita ja sitä, miten kielikunnat toimivat. Opin, että kääntämisessä on kyse rakenteesta ja merkityksestä, ei sanojen korvaamisesta toisilla sana sanalta. Ajattelen tekoälystä samalla tavalla.

Aloitin työskentelyn luonnollisen kielen käsittelyn parissa vuonna 1997, jolloin järjestelmät perustuivat käsin kirjoitettuihin sääntöihin. Sen jälkeen olen työskennellyt tilastollisten mallien, neuroverkkojen ja nykyisten suurten kielimallien parissa. Kukin niistä ratkaisi joitakin ongelmia mutta synnytti uusia. En usko, että mikään yksittäinen malli on ratkaisu kaikkeen.

Liityin Smartlingiin, koska se oli alusta alkaen suunniteltu kääntämään kaikenlaista yrityssisältöä verkkosivustoista ja sovelluksista juridisiin asiakirjoihin, markkinointisisältöihin ja videoihin. Aloitin konekääntämisestä vastaavana varatoimitusjohtajana, mutta tehtävä laajeni nopeasti kääntämisen ulkopuolelle kehotteisiin, dataan, laatuun ja turvallisuuteen. Niinpä tittelikseni tuli tekoälystä vastaava varatoimitusjohtaja.

Miltä tämä kuilu näyttää käytännössä, ja miksi se voi kasvaa entistä merkittävämmäksi, kun generatiivisesta tekoälystä tulee ensisijainen käyttöliittymä?

Aiemmin kuilu oli yksinkertainen: joko tekoälyjärjestelmä tuki kieltäsi tai ei. Tähän kysymykseen on nyt enimmäkseen saatu vastaus, mutta kuilu on muuttanut muotoaan. Nykyään ratkaisevaa on se, kuinka hyvin mallin koulutusdata edustaa kyseistä kieltä, sen puhujia ja heidän kulttuuriaan. Suurin osa mallien koulutusdatasta on englanninkielistä, joten siihen sisältyy englanninkielisen maailman oletuksia. Käännös voi olla teknisesti tarkka ja silti tuoda toiseen kieleen englanninkielisen näkökulman.

Tekoälystä on tulossa tapa, jolla ihmiset asioivat pankkien, lääkäreiden, koulujen ja muiden välttämättömien palvelujen kanssa. Jos tekoäly käsittelee kieltäsi hyvin, olet etulyöntiasemassa. Jos se käsittelee sitä huonosti, olet epäedullisessa asemassa.

Mikä yllätti sinut eniten, ja miksi ruotsi suoriutuu joissakin tapauksissa hindiä paremmin, vaikka ruotsin puhujia on paljon vähemmän?

Puhujamäärä on yllättävän huono käännöslaadun mittari. Noin 10 miljoonan puhujan ruotsilla saatiin aikaan joitakin parhaista tuloksista. Hindi, jolla on noin 600 miljoonaa puhujaa, kuului heikoimpiin kieliin yhdessä viron ja thain kanssa.

Kielen rakenne ja datan laatu ovat paljon tärkeämpiä. Ruotsin kielioppi on suhteellisen yksinkertaista, ja laadukasta koulutusdataa on runsaasti. Virossa sanojen päätteet muuttuvat jatkuvasti merkityksen ilmaisemiseksi, mikä tekee kielestä tekoälylle monimutkaisemman käsitellä. Hindillä on satoja miljoonia puhujia, mutta laadukasta ja monipuolista koulutusdataa on paljon vähemmän kuin puhujamäärän perusteella voisi odottaa.

Toinen yllätys oli, ettei kehitys edennyt samalla tavalla kaikissa tutkimuslaboratorioissa. Aluksi heikommin suoriutuneet kielet yleensä kehittyivät eniten mallisukupolvesta seuraavaan, mutta tämä suuntaus ei aina toteudu.

Mitkä tekijät vaikuttavat mallien suorituskykyyn eniten koulutusdatan määrän lisäksi?

Yksi tärkeimmistä tekijöistä on tokenisointi. Siinä malli jakaa tekstin osiin ennen sen käsittelyä, mikä on erityisen tärkeää kielissä, joissa ei käytetä latinalaisia aakkosia. Huono tokenisointi rajoittaa kaikkea sitä, mitä mallilla voidaan tehdä tämän jälkeen.

Myös kielen rakenteella on merkitystä. Kielet, joissa sanojen päätteet ovat monimutkaisia, voivat olla malleille vaikeampia käsitellä. Esimerkiksi saksassa sanoja yhdistellään niin, että yksittäinen sana voi olla 40 merkkiä pitkä. Tämä asettaa mallille suurempia vaatimuksia kuin esimerkiksi espanja tai ranska.

Myös datan laadulla on merkitystä. Huono data tuottaa huonoja tuloksia. Datan tarkkuus, monipuolisuus ja edustavuus ovat äärimmäisen tärkeitä tekoälykääntämisen suorituskyvyn kannalta.

Lopuksi tarvitaan mittaamista. Käytämme TER-, BLEU-, CHRF3- ja MetricX-mittareita ja vertaamme tuloksia luotettaviin ihmisten tekemiin käännöksiin. Malli voi kuulostaa luontevalta mutta välittää silti merkityksen väärin.

Millainen vastuu johtavilla tekoälylaboratorioilla on, ja miltä merkityksellinen edistys näyttäisi?

Johtavilla tekoälylaboratorioilla on suurin vastuu, koska ne hallitsevat kehittyneimpiä kielimalleja. Niiden valinnat voivat joko kasvattaa kuilua tai auttaa kaventamaan sitä. Kääntäminen kuitenkin kilpailee usein huomiosta päättelyn, ohjelmoinnin ja turvallisuuden kanssa, joten vain harvoilla laboratorioilla on siihen keskittyviä omia tiimejä.

Kolme asiaa vaikuttaisi tilanteeseen merkittävästi:

1. Tuotetaan laadukasta dataa useammilla kielillä ja useammista aiheista.
2. Paranna tokenisointia kielissä, joissa nykyiset menetelmät eivät toimi riittävän hyvin.
3. Arvioi myös jokainen uusi malli kielillä, joista on vähemmän koulutusdataa, äläkä keskity vain suurimpiin kieliin.

Merkittävä mahdollisuus on kerätä koulutusdataa kielistä, joita esiintyy verkossa hyvin vähän. Suuri osa tästä työstä tehdään suurten tutkimuslaboratorioiden ulkopuolella. Teemme yhteistyötä esimerkiksi African Language Labin kaltaisten ryhmien kanssa kerätäksemme dataa afrikkalaisista kielistä.

Miten Smartling selvittää, mikä sen yli 20 käännösmoottorista sopii tietylle kielelle, sisältötyypille tai käyttötarkoitukselle?

Testaamme malleja sen sijaan, että olettaisimme yhden niistä olevan paras. Jokainen malli arvioidaan luotettavia ihmisten tekemiä käännöksiä vasten TER-, BLEU-, CHRF3- ja MetricX-mittareilla. Asiakas voi antaa meille markkinointisisältöään, ja noin viikon kuluessa voimme näyttää, miten kukin malli suoriutuu eri kielissä ja aihealueilla. Latinalaisamerikkalaiseen espanjaan tarkoitetun markkinointisisällön paras malli ei välttämättä ole paras toiselle kielelle tai arkaluonteiselle sisällölle.

Otamme huomioon myös riskit. Vähäriskinen käyttäjäsisältö voidaan käsitellä kevyemmällä tarkastusprosessilla. Säännelty tai brändin kannalta kriittinen sisältö tarkastetaan useammin ja yleensä myös ihmisen toimesta. Koska malleja voidaan lisätä tai poistaa niiden suorituskyvyn muuttuessa, emme ole sidottuja yhteen palveluntarjoajaan.

Missä erikoistuneet käännösjärjestelmät päihittävät yhä yleiskäyttöiset suuret kielimallit, ja miten nämä kaksi lähestymistapaa lähentyvät toisiaan?

Erikoistunut konekääntäminen on edelleen vahvoilla silloin, kun ennustettavuus on tärkeintä. Se soveltuu erityisen hyvin arkaluonteiseen sisältöön ja tiettyihin kieliin. Suuret kielimallit tuottavat luontevampaa tekstiä, mutta voivat myös hallusinoida itsevarmasti.

Smartlingillä yhdistämme nämä kaksi lähestymistapaa. Erikoistunut käännösmalli tuottaa ensimmäisen luonnoksen asiakkaan terminologiaa ja alakohtaista dataa hyödyntäen. Sen jälkeen suuri kielimalli muokkaa tekstiä, palauttaa hyväksytyn terminologian, soveltaa aiempien käännösten osumia ja parantaa tekstin sujuvuutta.

Mallista on tulossa vain yksi järjestelmän osa. Nyt kehotteilla, datalla, mukauttamisella ja turvallisuuskontrolleilla on yhtä suuri merkitys.

Mitä merkittävimpiä riskejä yritysten tulisi ottaa huomioon käyttäessään generatiivista tekoälyä monikielisen sisällön tuottamiseen?

Ehdottomasti hallusinaatiot. Mieleeni tulee esimerkki, jossa joku kysyy tekoälyltä, onko sieni myrkyllinen. Tekoäly vastaa täysin varmasti, ettei ole, ja kysyjän hautakivi osoittaa vastauksen vääräksi. Kääntämisessä tämä näkyy tekstinä, joka kuulostaa täydelliseltä mutta sisältää virheellisiä tietoja. Riski voi olla suurempi kielissä, joista on vähemmän koulutusdataa.

Sitten ovat kulttuurinen ja sääntelyyn liittyvä konteksti. Käännös voi olla teknisesti oikein mutta silti sopimaton kyseisille markkinoille. Esimerkiksi saksan ja japanin kielissä edellytetään muodollisuuden tasoa, jota englannissa ei ole. Kiinan mainontasäännöt puolestaan rajoittavat myös esimerkiksi ilmauksia, kuten ”paras”.

Myös johdonmukaisuus on tärkeää. Laajassa käytössä yleiskäyttöiset tekoälytyökalut voivat johtaa epäyhtenäiseen terminologiaan ja brändiääneen. Eräs johtaja kertoi minulle, että hänen yrityksessään on 300 000 työntekijää ja yleiskäyttöisen tekoälyn ansiosta myös 300 000 erilaista ääntä.

Seuraukset voivat olla myös fyysisiä. Jos turvallisuusohje vivun vetämisestä käännetään väärin, rakennustyömaalla voi pudota nosturi.

Miltä tekoälyagentti näyttää lokalisointityössä, ja kuinka paljon siitä voidaan automatisoida ihmisen valvonnassa?

Tekoälyagentti on yksi vaihe lokalisointityönkulussa. Yksi malli kääntää, kun taas toinen tarkistaa tekstin, etsii hallusinaatioita, palauttaa hyväksytyn terminologian ja mukauttaa sisällön markkinoille sopivaksi. Tämän jälkeen laaduntarkistus ratkaisee, voidaanko sisältö julkaista, tarvitaanko siihen nopea ihmisen tekemä tarkistus vai perusteellinen tarkastus.

Automatisoinnin määrä riippuu riskeistä. Suuri osa vähäriskisestä työstämme on jo täysin automatisoitu, mutta arkaluonteinen ja säännelty sisältö edellyttää edelleen ihmisen osallistumista.

Täysi automatisointi ei aina ole tavoitteena, sillä mallit tarvitsevat ihmisten palautetta kehittyäkseen. Tavoitteena on vähentää ihmisten työmäärää poistamatta heidän harkintaansa.

Kaventuvatko vai kasvavatko erot viiden vuoden kuluessa, ja mitä tarvitaan, jotta tekoälystä tulee aidosti monikielistä maailmanlaajuisessa mittakaavassa?

Kumpikin kehityskulku on mahdollinen. Alun perin heikoimmassa asemassa olleet kielet kehittyvät nopeimmin, ja yhä useammat organisaatiot keräävät dataa kielistä, joita verkossa esiintyy vähän. Tähän sisältyy myös puhutun kielen dataa.

Jakolinja on kuitenkin muuttamassa muotoaan. Tekoäly voi hallita kielen hyvin mutta silti omaksua koulutusdatastaan englanninkielisiä oletuksia.

Aidosti monikielinen tekoäly edellyttää erilaista lähestymistapaa. Se voi tarkoittaa pienempiä, tiettyihin kieliin ja aihealueisiin räätälöityjä malleja sen sijaan, että yhdeltä yleismallilta odotettaisiin kaikkea. Se edellyttää monipuolisempaa dataa eri kielistä ja aihealueilta. Lisäksi tarvitaan parempaa tokenisointia kielille, joissa nykyiset menetelmät eivät toimi riittävän hyvin. Tarvitaan myös synteettistä dataa sekä yhdessä kielessä opitun siirtämistä sille sukulaiskieliin, jotta kehitys ei rajoitu kieliin, joista on eniten dataa.

Teknologia on olemassa, mutta kysymys kuuluu, asettavatko näitä malleja kehittävät yritykset monikielisen suorituskyvyn etusijalle.

Kiitos hienosta haastattelusta. Lukijoiden, jotka haluavat tutustua tekoälyavusteiseen kääntämiseen, monikielisen laadun arviointiin ja ihmisen valvomiin lokalisointityönkulkuihin, kannattaa tutustua Smartling-palveluun.