Olga Beregovaya, vice vd för AI på Smartling – intervjuserien

Olga Beregovaya är vice vd för AI på Smartling, där hon leder AI-strategin inom översättning, data, kvalitet och säkerhet. Hon har arbetat med naturlig språkbehandling sedan 1997 och har erfarenhet av regelbaserade system, statistiska modeller, neurala nätverk och stora språkmodeller. Innan hon började på Smartling var hon vice vd för AI-innovation på Welocalize och vd för PROMT Americas.

Smartling erbjuder programvara och tjänster för översättning och lokalisering för företag och kombinerar AI och maskinöversättning med mänsklig expertis. Plattformen stöder flerspråkiga arbetsflöden för webbplatser, applikationer, marknadsföring, dokument och multimedia, med tillgång till fler än 20 stora språkmodeller och maskinöversättningsmotorer. I den här intervjun diskuterar Beregovaya skillnaderna mellan språk inom AI, översättningskvalitet, val av modell och den mänskliga tillsynens roll vid automatiserad lokalisering.

Hur har den resan format ditt sätt att se på AI:s roll för språk, och vad fick dig att ta ansvar för AI-strategin på Smartling?

Jag studerade hur språk är uppbyggda och hur språkfamiljer fungerar. Det lärde mig att översättning handlar om struktur och betydelse, inte om att byta ut ord ett för ett. Jag tänker på AI på samma sätt.

Jag började arbeta med naturlig språkbehandling 1997, när systemen byggde på regler som skrivits för hand. Sedan dess har jag arbetat med statistiska modeller, neurala nätverk och dagens stora språkmodeller. Var och en löste vissa problem och skapade andra. Jag tror inte att någon enskild modell är svaret.

Jag började på Smartling eftersom företaget byggdes för att översätta alla typer av företagsinnehåll, från webbplatser och appar till juridiska dokument, marknadsföringsmaterial och video. Jag började som vice vd för maskinöversättning, men rollen utvidgades snabbt från översättning till att även omfatta promptning, data, kvalitet och säkerhet. Därför ändrades titeln till vice vd för AI.

Hur märks den här skillnaden i praktiken, och varför kan den få större konsekvenser när generativ AI blir ett primärt gränssnitt?

Tidigare var skillnaden enkel: antingen stödde ett AI-system ditt språk eller så gjorde det inte det. Den frågan är till största delen avgjord nu, men skillnaden har ändrat form. Det viktiga i dag är hur väl modellens träningsdata representerar språket, dess talare och dess kultur. Merparten av träningsdata för modeller är på engelska, vilket innebär att den för med sig engelskspråkiga antaganden. En översättning kan vara tekniskt korrekt och ändå påtvinga ett annat språk ett engelskspråkigt perspektiv.

AI blir ett sätt för människor att interagera med banker, läkare, skolor och andra samhällsviktiga tjänster. Den som behärskar ett språk väl med hjälp av AI får ett övertag, medan den som hanterar ett språk dåligt hamnar i underläge.

Vad överraskade dig mest, och vad förklarar att svenska presterar bättre än hindi trots att språket har betydligt färre talare?

Antalet talare är förvånansvärt dåligt som mått på översättningskvalitet. Svenska, med omkring 10 miljoner talare, gav några av de bästa resultaten. Hindi, med omkring 600 miljoner talare, hörde till de svagaste resultaten, liksom estniska och thailändska.

Språkets struktur och datakvaliteten spelar mycket större roll. Svenskan har relativt enkel grammatik och gott om välordnade träningsdata. Estniskan ändrar hela tiden ordändelser för att uttrycka betydelse, vilket gör språket mer komplext för AI att hantera. Hindi har hundratals miljoner talare, men betydligt mindre träningsdata av hög kvalitet och med stor variation än man skulle kunna förvänta sig utifrån antalet talare.

En annan överraskning var att utvecklingen inte såg likadan ut från ett laboratorium till ett annat. Språk som presterade sämre från början förbättrades oftast mest från en modellgeneration till nästa, men det mönstret gäller inte alltid.

Vilka faktorer utöver mängden träningsdata påverkar modellernas prestanda mest?

Tokenisering är en av de viktigaste faktorerna. Det är så modellen delar upp text i mindre delar innan den bearbetas, vilket är särskilt viktigt för språk som inte använder det latinska alfabetet. Bristfällig tokenisering begränsar allt som följer.

Språkets struktur spelar också roll. Språk med komplexa ordändelser kan vara svårare för modeller att hantera. Tyska sätter till exempel ihop ord så att ett enda ord kan bli 40 tecken långt, vilket ställer högre krav på en modell än språk som spanska eller franska.

Sedan har vi datakvaliteten. Dåliga data ger dåliga resultat. Dataunderlagets träffsäkerhet, variation och representativitet är oerhört viktiga för AI:s översättningsförmåga.

Och slutligen: utvärdering. Vi använder TER, BLEU, CHRF3 och MetricX och jämför resultaten med tillförlitliga mänskliga översättningar. En modell kan låta naturlig och ändå få betydelsen fel.

Vilket ansvar har de ledande AI-laboratorierna, och hur skulle meningsfulla framsteg se ut?

De ledande AI-laboratorierna har det största ansvaret eftersom de kontrollerar de mest avancerade språkmodellerna. Deras val kan antingen öka skillnaderna eller bidra till att minska dem. Översättning konkurrerar dock ofta med resonemang, kodning och säkerhet om uppmärksamheten, så få laboratorier har särskilda team som arbetar med just översättning.

Tre saker skulle göra en meningsfull skillnad:

1. Bygg upp högkvalitativa data för fler språk och ämnesområden.
2. Förbättra tokeniseringen för språk där dagens metoder inte räcker till.
3. Och utvärdera varje ny modell även på språk med mindre träningsdata, inte bara på de största språken.

En stor möjlighet är att ta fram träningsdata för språk som är mycket sparsamt representerade på nätet. Mycket av det arbetet sker utanför de stora AI-laboratorierna. Vi samarbetar med grupper som African Language Lab för att ta fram data för afrikanska språk.

Hur avgör Smartling vilken av sina över 20 motorer som passar för ett visst språk, en viss innehållstyp eller ett visst användningsområde?

Vi testar modellerna i stället för att utgå från att en modell är bäst. Varje modell utvärderas mot tillförlitliga mänskliga översättningar med hjälp av TER, BLEU, CHRF3 och MetricX. En kund kan ge oss sitt marknadsföringsinnehåll, och inom ungefär en vecka kan vi visa hur varje modell presterar för olika språk och ämnesområden. Den bästa modellen för marknadsföring på latinamerikansk spanska behöver inte vara den bästa för ett annat språk eller för känsligt innehåll.

Vi tar också hänsyn till riskerna. Användarinnehåll med lägre risk kan genomgå en enklare granskningsprocess. Innehåll som omfattas av reglering eller är avgörande för varumärket granskas fler gånger och kontrolleras vanligtvis av en människa. Eftersom modeller kan läggas till eller tas bort när deras prestanda förändras är vi inte låsta till en enda leverantör.

På vilka områden presterar specialiserade översättningssystem fortfarande bättre än LLM:er för allmänna ändamål, och hur kommer de två att närma sig varandra?

Specialiserad maskinöversättning är fortfarande bäst när förutsägbarhet är viktigast. Den är särskilt användbar för känsligt innehåll och vissa språk. LLM:er producerar mer naturlig text, men de kan också hallucinera med stor säkerhet.

På Smartling kombinerar vi de två. En specialiserad översättningsmodell tar fram ett första utkast med hjälp av kundens terminologi och domändata. Därefter bearbetar en LLM texten, återinför godkänd terminologi, tillämpar matchningar från tidigare översättningar och förbättrar språket.

Modellen blir bara en del av systemet. Nu är promptning, data, anpassning och säkerhetskontroller minst lika viktiga.

Vilka är de största riskerna som företag bör tänka på när de använder generativ AI för flerspråkigt innehåll?

Hallucinationer, utan tvekan. Mitt favorite exempel är när någon frågar en AI om en svamp är giftig. AI:n svarar nej med fullständig övertygelse, men personens gravsten visar att svaret var fel. I översättning yttrar det sig som text som låter perfekt men innehåller faktafel, och risken kan vara större för språk med mindre träningsdata.

Sedan har vi kulturella och regulatoriska sammanhang. En översättning kan vara tekniskt korrekt och ändå vara fel för marknaden. Tyska och japanska kräver till exempel en grad av formalitet som inte krävs på engelska. Kinesiska reklamregler begränsar också påståenden som ”bäst”.

Konsekvens är en annan fråga. I stor skala kan generiska AI-verktyg skapa inkonsekvent terminologi och varumärkesröst. En chef berättade för mig att hans företag har 300 000 anställda och, tack vare generisk AI, 300 000 olika röster.

Och konsekvenserna kan vara fysiska. Om en säkerhetsinstruktion om att dra i en spak översätts fel kan en kran falla på en byggarbetsplats.

Hur ser en AI-agent ut i ett lokaliseringsflöde, och hur mycket kan automatiseras med mänsklig tillsyn?

En AI-agent är ett steg i ett lokaliseringsflöde. En modell översätter, medan en annan granskar texten, kontrollerar om den innehåller hallucinationer, återinför godkänd terminologi och anpassar innehållet till marknaden. Därefter avgör en kvalitetskontroll om texten kan publiceras, behöver en snabb mänsklig granskning eller kräver en fullständig granskning.

Hur mycket som kan automatiseras beror på risken. Mycket av vårt arbete med lägre risk är redan helt automatiserat, men känsligt innehåll och innehåll som omfattas av reglering kräver fortfarande mänsklig medverkan.

Fullständig automatisering är inte alltid målet, eftersom modeller behöver återkoppling från människor för att förbättras. Målet är att minska människors arbetsbörda utan att ta bort det mänskliga omdömet.

Kommer klyftan att minska eller öka under de kommande fem åren, och vad skulle krävas för att AI verkligen ska fungera flerspråkigt i global skala?

Det kan gå åt båda hållen. Språk som började med sämst förutsättningar utvecklas snabbast, och allt fler organisationer samlar in data för språk med lite innehåll på nätet, även data om talade språk.

Men klyftan håller på att ändra karaktär. AI kan hantera ett språk väl och ändå föra över engelskspråkiga antaganden från träningsdata.

Verkligt flerspråkig AI kräver ett annat angreppssätt. Det kan innebära mindre modeller som är anpassade till specifika språk och ämnesområden, i stället för en generell modell som förväntas klara allt. Det innebär mer varierade data från olika språk och ämnesområden. Bättre tokenisering för språk där dagens metoder inte räcker till. Och syntetiska data, samt överföring av det en modell lär sig på ett språk till närbesläktade språk, så att förbättringarna inte begränsas till språken med mest data.

Tekniken finns, men frågan är om företagen som utvecklar de här modellerna prioriterar flerspråkig prestanda.

Tack för den fina intervjun. Läsare som vill utforska AI-översättning, flerspråkig kvalitetsutvärdering och lokaliseringsflöden med mänsklig tillsyn kan besöka Smartling.