Olga Beregovaya, visepresident for KI i Smartling – intervjuserie

Olga Beregovaya er visepresident for KI i Smartling, der hun leder KI-strategien innen oversettelse, data, kvalitet og sikkerhet. Hun har arbeidet med behandling av naturlig språk siden 1997 og har erfaring med regelbaserte systemer, statistiske modeller, nevrale nettverk og store språkmodeller. Før hun begynte i Smartling, var hun visepresident for KI-innovasjon i Welocalize og administrerende direktør i PROMT Americas.

Smartling tilbyr programvare og tjenester for oversettelse og lokalisering for bedrifter, og kombinerer KI og maskinoversettelse med menneskelig ekspertise. Plattformen støtter flerspråklige arbeidsflyter for nettsteder, applikasjoner, markedsføring, dokumenter og multimedieinnhold, med tilgang til mer enn 20 store språkmodeller og maskinoversettelsesmotorer. I dette intervjuet snakker Beregovaya om KI-kløften mellom språk, oversettelseskvalitet, valg av modeller og betydningen av menneskelig tilsyn med automatisert lokalisering.

Hvordan har denne reisen formet synet ditt på KI-ens rolle i språk, og hva fikk deg til å lede KI-strategien i Smartling?

Jeg studerte hvordan språk er bygd opp, og hvordan språkfamilier fungerer. Det lærte meg at oversettelse handler om struktur og mening, ikke om å erstatte ord ett for ett. Jeg tenker på KI på samme måte.

Jeg begynte å arbeide med behandling av naturlig språk i 1997, da systemene var basert på regler skrevet for hånd. Siden den gang har jeg arbeidet med statistiske modeller, nevrale nettverk og dagens store språkmodeller. Hver av dem løste noen problemer og skapte andre. Jeg tror ikke at én enkelt modell er svaret.

Jeg begynte i Smartling fordi selskapet var bygget for å oversette alle typer bedriftsinnhold, fra nettsteder og apper til juridiske dokumenter, markedsføringsmateriell og video. Jeg startet som visepresident for maskinoversettelse, men rollen ble raskt utvidet til også å omfatte instruksjonsutforming, data, kvalitet og sikkerhet. Derfor ble tittelen visepresident for KI.

Hvordan viser denne kløften seg i praksis, og hvorfor kan den få større konsekvenser etter hvert som generativ KI blir et viktig grensesnitt?

Tidligere var skillet enkelt: Enten støttet et KI-system språket ditt, eller så gjorde det ikke det. Det spørsmålet er stort sett avklart nå, men kløften har endret form. Det som betyr noe nå, er hvor godt treningsdataene til modellen gjenspeiler språket, brukerne og kulturen deres. Det meste av treningsdataene til modeller er på engelsk, og dermed følger engelskspråklige antakelser med. En oversettelse kan være teknisk korrekt og likevel påtvinge et annet språk et engelskspråklig perspektiv.

KI blir stadig oftere måten folk samhandler med banker, leger, skoler og andre viktige tjenester på. Hvis en KI håndterer språket ditt godt, gir det deg en fordel. Håndterer den språket dårlig, stiller du svakere.

Hva overrasket deg mest, og hva forklarer at svensk gjør det bedre enn hindi, til tross for at svensk har langt færre brukere?

Antall språkbrukere er overraskende lite egnet til å forutsi oversettelseskvalitet. Svensk, med rundt 10 millioner brukere, ga noen av de beste resultatene. Hindi, med rundt 600 millioner brukere, var blant språkene som gjorde det svakest, sammen med estisk og thai.

Språkstruktur og datakvalitet betyr langt mer. Svensk har relativt enkel grammatikk og rikelig med rene treningsdata. Estisk endrer stadig ordendelser for å uttrykke mening, noe som gjør språket mer krevende for KI å håndtere. Hindi har hundrevis av millioner brukere, men langt mindre variert trening av høy kvalitet enn man skulle forvente ut fra antallet brukere.

En annen overraskelse var at utviklingen ikke var den samme fra ett laboratorium til et annet. Språk som i utgangspunktet gjorde det svakere, ble som regel mest forbedret fra én modellgenerasjon til den neste, men dette mønsteret gjelder ikke alltid.

Hvilke faktorer påvirker modellens ytelse mest, utover mengden treningsdata?

Tokenisering er en av de viktigste faktorene. Det er prosessen der en modell deler tekst opp i mindre biter før den behandler den, og den er særlig viktig for språk som ikke bruker det latinske alfabetet. Dårlig tokenisering begrenser alt som følger etter.

Språkstrukturen spiller også en rolle. Språk med kompliserte ordendelser kan være vanskeligere for modeller å håndtere. Tysk setter for eksempel sammen ord til ett enkelt ord kan bli 40 tegn langt, noe som stiller større krav til en modell enn språk som spansk eller fransk.

Så har vi datakvaliteten. Dårlige data gir dårlige resultater. Dataenes nøyaktighet, variasjon og representativitet er svært avgjørende for hvor godt KI oversetter.

Til slutt kommer måling. Vi bruker TER, BLEU, CHRF3 og MetricX og sammenligner resultatene med pålitelige menneskelige oversettelser. En modell kan høres naturlig ut, men likevel gjengi meningen feil.

Hvilket ansvar har de fremste KI-laboratoriene, og hvordan ville reelle fremskritt sett ut?

De fremste KI-laboratoriene har størst ansvar fordi de kontrollerer de mest avanserte språkmodellene. Valgene deres kan enten gjøre kløften større eller bidra til å redusere den. Oversettelse konkurrerer imidlertid ofte med resonnering, koding og sikkerhet om oppmerksomheten, så få laboratorier har egne team som arbeider med dette.

Tre ting ville gjort en betydelig forskjell:

1. Bygg datasett av høy kvalitet på flere språk og innenfor flere fagområder.
2. Forbedre tokeniseringen for språk der dagens metoder ikke strekker til.
3. Og mål hver nye modell opp mot språk med mindre treningsdata, ikke bare de største språkene.

En viktig mulighet er å utvikle treningsdata for språk som er svært lite representert på nettet. Mye av dette arbeidet skjer utenfor de store laboratoriene. Vi samarbeider med grupper som African Language Lab for å utvikle data for afrikanske språk.

Hvordan avgjør Smartling hvilken av sine over 20 motorer som passer til et bestemt språk, en bestemt innholdstype eller et bestemt bruksområde?

Vi tester dem i stedet for å anta at én modell er best. Hver modell evalueres mot kvalitetssikrede menneskelige oversettelser ved hjelp av TER, BLEU, CHRF3 og MetricX. En kunde kan gi oss markedsføringsinnholdet sitt, og innen omtrent en uke kan vi vise hvordan hver modell presterer for ulike språk og fagområder. Den beste modellen for markedsføring på latinamerikansk spansk er kanskje ikke den beste for et annet språk eller for sensitivt innhold.

Vi tar også risiko med i vurderingen. Brukerinnhold med lavere risiko kan gjennomgå en enklere kontrollprosess. Innhold som er regulert eller kritisk for merkevaren, gjennomgår flere kontroller og blir vanligvis også kontrollert av et menneske. Siden modeller kan legges til eller fjernes etter hvert som ytelsen endrer seg, er vi ikke låst til én leverandør.

På hvilke områder presterer spesialiserte oversettelsessystemer fortsatt bedre enn generelle store språkmodeller, og hvordan vil de to utvikle seg mot hverandre?

Spesialisert maskinoversettelse er fortsatt best når forutsigbarhet er viktigst. Den er særlig nyttig for sensitivt innhold og enkelte språk. Store språkmodeller gir mer naturlig tekst, men kan også hallusinere med stor overbevisning.

Hos Smartling kombinerer vi de to. En spesialisert oversettelsesmodell lager det første utkastet ved hjelp av kundens terminologi og domenedata. Deretter redigerer en stor språkmodell teksten, gjeninnfører godkjent terminologi, bruker treff fra tidligere oversettelser og forbedrer språket.

Modellen er i ferd med å bli bare én del av systemet. Nå er instruksjonene, dataene, tilpasningen og sikkerhetsmekanismene like viktige.

Hvilke er de største risikoene virksomheter bør ta hensyn til når de bruker generativ KI til flerspråklig innhold?

Hallusinering, uten tvil. Favoritteksempelet mitt er noen som spør en KI om en sopp er giftig. Den svarer nei med full overbevisning, men personens gravstein viser at svaret var feil. I oversettelser viser dette seg som tekst som høres perfekt ut, men inneholder faktafeil. Risikoen kan være større for språk med mindre treningsdata.

Så har vi kulturell og regulatorisk kontekst. En oversettelse kan være teknisk korrekt og likevel være feil for markedet. Tysk og japansk krever for eksempel en grad av formalitet som ikke finnes på engelsk. Kinesiske reklameregler begrenser også påstander som «best».

Konsistens er en annen utfordring. I stor skala kan generiske KI-verktøy føre til inkonsekvent terminologi og ulik merkestemme. En leder fortalte meg at selskapet hans har 300 000 ansatte og, takket være generisk KI, 300 000 ulike stemmer.

Og konsekvensene kan være fysiske. Hvis en sikkerhetsinstruks om å trekke i en spak blir feiloversatt, kan en kran falle ned på en byggeplass.

Hvordan ser en KI-agent ut i en lokaliseringsarbeidsflyt, og hvor mye kan automatiseres med menneskelig tilsyn?

En KI-agent er ett ledd i en lokaliseringsarbeidsflyt. Én modell oversetter, mens en annen gjennomgår teksten, ser etter hallusinering, gjeninnfører godkjent terminologi og tilpasser innholdet til markedet. Deretter avgjør en kvalitetskontroll om innholdet kan publiseres, trenger en rask menneskelig gjennomgang eller må gjennomgås grundig.

Hvor mye som kan automatiseres, avhenger av risikoen. Mye av arbeidet vårt med lavere risiko er allerede helautomatisert, men sensitivt og regulert innhold krever fortsatt menneskelig medvirkning.

Full automatisering er ikke alltid målet, fordi modellene trenger tilbakemeldinger fra mennesker for å bli bedre. Målet er å redusere arbeidsbelastningen for mennesker uten å fjerne menneskelig skjønn.

Vil forskjellene bli mindre eller større om fem år, og hva skal til for at KI blir genuint flerspråklig i global skala?

Det kan gå begge veier. Språkene som lå svakest an i utgangspunktet, blir stadig bedre raskest, og flere organisasjoner samler inn data for språk med lite innhold på nettet, også data om talespråk.

Men skillet endrer form. KI kan håndtere et språk godt og likevel videreføre engelskspråklige antakelser fra treningsdataene sine.

Genuint flerspråklig KI krever en annen tilnærming. Det kan innebære mindre modeller som er tilpasset bestemte språk og fagområder, i stedet for én generell modell som forventes å gjøre alt. Det betyr større variasjon i data på tvers av språk og fagområder. Det krever bedre tokenisering for språk der dagens metoder ikke strekker til. Og det innebærer syntetiske data, samt overføring av det en modell lærer på ett språk, til beslektede språk, slik at forbedringene ikke begrenses til språkene med mest data.

Teknologien finnes, men spørsmålet er om selskapene som bygger disse modellene, vil prioritere flerspråklig ytelse.

Takk for et flott intervju! Lesere som ønsker å utforske KI-oversettelse, flerspråklig kvalitetsvurdering og arbeidsflyter for lokalisering med menneskelig tilsyn, bør besøke Smartling.