Olga Beregovaya, vicepræsident for kunstig intelligens hos Smartling – interviewserie

Olga Beregovaya er vicepræsident for kunstig intelligens hos Smartling, hvor hun leder strategien for kunstig intelligens på tværs af oversættelse, data, kvalitet og sikkerhed. Hun har arbejdet med naturlig sprogbehandling siden 1997 og har erfaring med regelbaserede systemer, statistiske modeller, neurale netværk og store sprogmodeller. Før hun kom til Smartling, var hun vicepræsident for innovation inden for kunstig intelligens hos Welocalize og administrerende direktør for PROMT Americas.

Smartling leverer oversættelses- og lokaliseringssoftware og -tjenester til virksomheder og kombinerer kunstig intelligens og maskinoversættelse med menneskelig ekspertise. Platformen understøtter flersprogede arbejdsgange for websites, applikationer, markedsføring, dokumenter og multimedier og giver adgang til mere end 20 store sprogmodeller og maskinoversættelsesmotorer. I dette interview taler Beregovaya om skellet mellem sprog inden for kunstig intelligens, oversættelseskvalitet, valg af modeller og den menneskelige kontrols rolle i automatiseret lokalisering.

Hvordan har den rejse præget din måde at tænke på kunstig intelligens’ rolle inden for sprog, og hvad fik dig til at stå i spidsen for Smartlings strategi for kunstig intelligens?

Jeg studerede, hvordan sprog er opbygget, og hvordan sprogfamilier fungerer. Det lærte mig, at oversættelse handler om struktur og betydning, ikke om at erstatte ord ét for ét. Jeg tænker på kunstig intelligens på samme måde.

Jeg begyndte at arbejde med naturlig sprogbehandling i 1997, hvor systemerne var baseret på regler, der var skrevet i hånden. Siden da har jeg arbejdet med statistiske modeller, neurale netværk og nutidens store sprogmodeller. Hver tilgang løste nogle problemer og skabte andre. Jeg tror ikke, at én enkelt model er svaret.

Jeg kom til Smartling, fordi virksomheden var skabt til at oversætte alle typer virksomhedsindhold, fra websites og apps til juridiske dokumenter, markedsføring og video. Jeg begyndte som vicepræsident for maskinoversættelse, men rollen blev hurtigt udvidet til også at omfatte promptudformning, data, kvalitet og sikkerhed. Derfor blev titlen ændret til vicepræsident for kunstig intelligens.

Hvordan kommer det skel til udtryk i praksis, og hvorfor kan det få større betydning, efterhånden som generativ kunstig intelligens bliver en primær grænseflade?

Skellet var tidligere enkelt: Enten understøttede et system med kunstig intelligens dit sprog, eller også gjorde det ikke. Det spørgsmål er for det meste afklaret nu, men skellet har ændret karakter. Nu handler det om, hvor godt modellens træningsdata repræsenterer sproget, dets brugere og deres kultur. De fleste træningsdata til modeller er på engelsk, så de afspejler antagelser fra engelsktalende miljøer. En oversættelse kan være teknisk korrekt og stadig påtvinge et andet sprog et engelsktalende perspektiv.

Kunstig intelligens er ved at blive den måde, folk interagerer med banker, læger, skoler og andre vigtige tjenester på. Hvis en AI håndterer dit sprog godt, giver det dig en fordel, mens en AI, der håndterer det dårligt, stiller dig ringere.

Hvad overraskede dig mest, og hvad forklarer, at svensk klarer sig bedre end hindi, selvom svensk har langt færre talere?

Antallet af talere er overraskende dårligt som indikator for oversættelseskvalitet. Svensk, med omkring 10 millioner talere, gav nogle af de bedste resultater. Hindi, med omkring 600 millioner talere, var blandt de svageste sammen med estisk og thai.

Sprogenes struktur og datakvaliteten betyder langt mere. Svensk har forholdsvis enkel grammatik og masser af rene træningsdata. På estisk ændres ordenes endelser hele tiden for at udtrykke betydning, hvilket gør sproget mere komplekst for kunstig intelligens at håndtere. Hindi har hundredvis af millioner af talere, men langt færre varierede træningsdata af høj kvalitet, end man skulle forvente ud fra antallet af talere.

En anden overraskelse var, at udviklingen ikke var den samme fra laboratorium til laboratorium. Sprog, der begyndte med dårligere resultater, blev som regel forbedret mest fra én modelgeneration til den næste, men det mønster holder ikke altid.

Hvilke faktorer ud over mængden af træningsdata har størst indflydelse på modellens ydeevne?

Tokenisering er en af de vigtigste faktorer. Det er den proces, hvor modellen opdeler teksten i mindre dele, inden den behandler den, og det er særligt vigtigt for sprog, der ikke bruger det latinske alfabet. Dårlig tokenisering begrænser alt, hvad der følger efter.

Sprogenes struktur spiller også en rolle. Sprog med komplekse bøjningsendelser kan være sværere for modeller at håndtere. Tysk sætter for eksempel ord sammen, indtil et enkelt ord kan være 40 tegn langt, hvilket stiller større krav til en model end sprog som spansk eller fransk.

Så er der datakvaliteten. Dårlige data giver dårlige resultater. Dataenes nøjagtighed, variation og repræsentativitet er helt afgørende for, hvor godt kunstig intelligens oversætter.

Og endelig er der måling. Vi bruger TER, BLEU, CHRF3 og MetricX og sammenligner resultaterne med kvalitetssikrede menneskelige oversættelser. En model kan lyde naturlig, men stadig gengive betydningen forkert.

Hvilket ansvar har de førende AI-laboratorier, og hvordan ville meningsfulde fremskridt se ud?

De førende laboratorier har det største ansvar, fordi de råder over de mest avancerede sprogmodeller. Deres valg kan enten øge skellet eller bidrage til at mindske det. Oversættelse konkurrerer dog ofte med ræsonnering, programmering og sikkerhed om opmærksomheden, så kun få laboratorier har dedikerede teams, der fokuserer på oversættelse.

Tre ting ville gøre en mærkbar forskel:

1. Udarbejd træningsdata af høj kvalitet på flere sprog og inden for flere fagområder.
2. Forbedr tokeniseringen for sprog, hvor de nuværende metoder ikke slår til.
3. Og mål hver ny model på sprog med mindre træningsdata, ikke kun på de største sprog.

En stor mulighed ligger i at opbygge træningsdata for sprog, der kun er meget sparsomt repræsenteret online. Meget af dette arbejde foregår uden for de store laboratorier. Vi samarbejder med grupper som African Language Lab om at opbygge data for afrikanske sprog.

Hvordan afgør Smartling, hvilken af sine over 20 oversættelsesmotorer der passer til et bestemt sprog, en bestemt indholdstype eller en bestemt anvendelse?

Vi tester modellerne i stedet for at antage, at én model er bedst. Hver model evalueres i forhold til pålidelige menneskelige oversættelser ved hjælp af TER, BLEU, CHRF3 og MetricX. En kunde kan give os sit markedsføringsindhold, og inden for cirka en uge kan vi vise, hvordan hver model klarer sig på tværs af sprog og emner. Den bedste model til markedsføring på latinamerikansk spansk er måske ikke den bedste til et andet sprog eller følsomt indhold.

Vi tager også risikoen med i betragtning. Brugerindhold med lavere risiko kan gennemgå en mindre omfattende kontrolproces. Reguleret indhold eller indhold, der er afgørende for brandet, bliver kontrolleret flere gange og gennemgår som regel også et menneskeligt tjek. Da modeller kan tilføjes eller fjernes, efterhånden som deres ydeevne ændrer sig, er vi ikke låst fast til én udbyder.

På hvilke områder klarer specialiserede oversættelsessystemer sig stadig bedre end generelle LLM’er, og hvordan vil de to typer udvikle sig i retning af hinanden?

Specialiseret maskinoversættelse er stadig bedst, når forudsigelighed er vigtigst. Den er især nyttig til følsomt indhold og visse sprog. LLM’er skaber mere naturligt klingende tekst, men de kan også med stor overbevisning hallucinere.

Hos Smartling kombinerer vi de to tilgange. En specialiseret oversættelsesmodel udarbejder det første udkast ved hjælp af kundens terminologi og domænedata. Derefter redigerer en LLM teksten, genindsætter godkendt terminologi, anvender matches fra tidligere oversættelser og forbedrer formuleringerne.

Modellen er ved at blive blot én del af systemet. Nu er instruktioner, data, tilpasning og sikkerhedsforanstaltninger lige så vigtige.

Hvilke er de største risici, virksomheder bør tage højde for, når de bruger generativ AI til flersproget indhold?

Hallucinationer, uden tvivl. Mit yndlingseksempel er en person, der spørger en AI, om en svamp er giftig. AI’en svarer med fuldstændig sikkerhed, at den ikke er det, men personens gravsten viser, at svaret var forkert. I oversættelse viser det sig som tekst, der lyder perfekt, men indeholder faktuelle fejl, og risikoen kan være større på sprog med mindre træningsdata.

Så er der den kulturelle og lovgivningsmæssige kontekst. En oversættelse kan være teknisk korrekt og stadig være forkert til det pågældende marked. Tysk og japansk kræver for eksempel en grad af formalitet, som engelsk ikke gør. Kinesiske reklameregler begrænser også påstande som »den bedste«.

Konsistens er en anden risiko. I stor skala kan generiske AI-værktøjer føre til inkonsekvent terminologi og brandstemme. En leder fortalte mig, at hans virksomhed har 300.000 medarbejdere og – takket være generisk AI – 300.000 forskellige stemmer.

Og konsekvenserne kan være fysiske. Hvis en sikkerhedsinstruktion om at trække i et håndtag bliver oversat forkert, kan en kran vælte ned over en byggeplads.

Hvordan ser en AI-agent ud i forbindelse med lokalisering, og hvor meget kan automatiseres med menneskeligt tilsyn?

En AI-agent er ét trin i en lokaliseringsarbejdsgang. Én model oversætter, mens en anden gennemgår teksten, kontrollerer for hallucinationer, genindsætter godkendt terminologi og tilpasser indholdet til markedet. Derefter afgør et kvalitetstjek, om indholdet kan udgives, har brug for et hurtigt menneskeligt tjek eller kræver en grundig gennemgang.

Hvor meget der kan automatiseres, afhænger af risikoen. Meget af vores arbejde med lavere risiko er allerede fuldt automatiseret, men følsomt og reguleret indhold kræver stadig menneskelig indblanding.

Fuld automatisering er ikke altid målet, fordi modeller har brug for menneskelig feedback for at blive bedre. Målet er at mindske arbejdsbyrden for mennesker uden at fjerne menneskelig dømmekraft.

Vil forskellen blive mindre eller større om fem år, og hvad skal der til, for at AI reelt kan håndtere mange sprog på globalt plan?

Det kan gå begge veje. De sprog, der stod svagest fra begyndelsen, forbedres hurtigst, og flere organisationer indsamler data for sprog med sparsomt onlineindhold, herunder data om talesprog.

Men kløften ændrer karakter. AI kan håndtere et sprog godt og stadig videreføre engelsksprogede antagelser fra sine træningsdata.

Ægte flersproget AI kræver en anden tilgang. Det kan betyde mindre modeller, der er tilpasset bestemte sprog og emner, i stedet for én generel model, der forventes at kunne klare alt. Det kræver mere varierede data på tværs af sprog og fagområder. Bedre tokenisering for sprog, hvor de nuværende metoder ikke slår til. Og syntetiske data samt overførsel af det, en model lærer på ét sprog, til beslægtede sprog, så forbedringerne ikke begrænses til de sprog, der har flest data.

Teknologien findes, men spørgsmålet er, om virksomhederne, der udvikler disse modeller, prioriterer flersproget ydeevne.

Tak for det gode interview. Læsere, der ønsker at udforske AI-oversættelse, flersproget kvalitetsvurdering og lokaliseringsarbejdsgange med menneskeligt tilsyn, bør besøge Smartling.