Dr. Neil Yager, medstifter og chief scientist i Phrasee – Interviewserie

Dr. Neil Yager er chief scientist i Phrasee og arkitekten bag Phrasee-metoden, et AI-drevet copywriting-værktøj, der har hjulpet med at optimere marketing-tekst for nogle af verdens mest kendte mærker, herunder eBay, Groupon og Virgin – plus mange flere, fra Australien til Amerika, på over 20 sprog, fra engelsk til japansk.

Dr. Yager har skrevet over et dusin akademiske publikationer, skrevet en bog om data mining og har flere patenter. Som en af verdens førende eksperter i kommerciel anvendelse af kunstig intelligens har han en ph.d. i datalogi fra University of New South Wales i Australien.

De er en 20-årig veteran i tech-industrien, hvad var nogle af dine tidligere AI-relaterede roller?

Jeg har været involveret i AI-relateret arbejde siden min ph.d. i midten af 2000’erne. Imidlertid er feltet gået igennem flere rebrandinger siden da. For eksempel studerede jeg “statistisk mønstergenkendelse” for 15 år siden. Nogle år senere var dette mere almindeligt kendt som “maskinlæring”, som er et langt mere fængende navn. Mere nylig er maskinlæring (og “dyb læring” i særdeleshed) blevet synonymt med “kunstig intelligens” i almindelighed. Jeg har blandede følelser omkring dette. På den ene side har mit arbejde med Phrasee lært mig vigtigheden af branding. På den anden side bringer begrebet “kunstig intelligens” bagage med sig og kan føre til misforståelser om teknologien. Jeg undrer mig over, hvor vi ville være, hvis vi alle stadig kaldte det “statistisk mønstergenkendelse”.

Det meste af mit tidligere arbejde var inden for områderne signalbehandling og computer vision. Jeg havde ikke megen erfaring med naturlig sprogbehandling før Phrasee. Jeg har siden lært, at sprog sandsynligvis er det sværeste problem i AI.

I 2008 skrev du en bog med titlen ‘Biometrisk system og dataanalyse: Design, evaluering og data mining‘, som dækker aspekter af statistik og maskinlæring for at give en omfattende vejledning i evaluering, fortolkning og forståelse af biometriske data. Ud over mere beregningskraft, tror du, at dette felt har udviklet sig siden bogen blev udgivet? Kan du beskrive, hvordan?

Dyb læring har ændret feltene computer vision, sprogbehandling og maskinlæring siden jeg skrev bogen. Det ville ikke være muligt at skrive den bog i dag uden en sektion om dyb læring.

Dyb læring-revolutionen tog virkelig fart i 2012, da et dyb læring-model vandt en konkurrence kaldet ImageNet. ImageNet er et visuelt objektgenkendelsesdataset, hvor computeren bestemmer, hvad der er på et billede (f.eks. “hund” eller “ballon”). I årtier havde forskere gjort inkrementelle fremskridt på benchmark-datasets som dette. Hver underdisciplin opererede uafhængigt og afhængig af domænespecifik ekspertise. Næsten over nat blev alle de modeller, der var bygget op over mange år, gjort forældede. Dyb læring-algoritmer designede af udefrakommende vandt konkurrencer med betydelige marginer. Dette ændrede AI-industrien.

Feltet er stadig i rivende udvikling og har udviklet sig endda siden starten af Phrasee for nogle få år siden. For eksempel findes de dyb læring-værktøjer, vi nu afhænger af, ikke engang, da vi startede virksomheden. Innovationens tempo medfører selv udfordringer.

Kunne du dele med os, hvad det er, Phrasee kan gøre for virksomheder?

Phrasee løser to problemer for virksomheder. Først og fremmest er der problemet med at skrive marketing-tekst. Der er flere reklamekanaler nu end nogensinde før (f.eks. e-mail, AdWords, sociale medier, tryk, podcasts osv.). Det er svært at skrive tekst for alle disse kanaler, der er af høj kvalitet og overholder virksomhedens stil og tone. Phrasee løser problemet med skala ved at generere tekst automatisk. For det andet er det vigtigt, at al sprogbrug er effektivt. Phrasee genererer ikke kun sprog, men bruger også maskinlæring til at forudsige effekten af beskeden og optimere herefter.

Hvad var det, der tiltrak dig til idéen om at bruge naturlig sprogbehandling (NLP) og dyb læring til at forbedre kraften af reklame-tekst?

At bruge AI til at maksimere effekten af digitale marketing-kampagner er ikke en ny idé. Der er hold af mennesker med ph.d.’er i fysik, der er blevet rekrutteret til at arbejde med reklameoptimering. Imidlertid fokuserer de fleste af disse hold deres R&D-bestræbelser på ting som målgruppe-segmentering, personalisering, leveringstid, reklameplacering, skrifttyper osv. Da vi først begyndte atbounce ideer rundt om Phrasee, lagde vi mærke til, at næsten alt om reklamer blev optimeret undtagen den faktiske sprogbrug! Vi identificerede dette som et gap i markedet og en enorm mulighed.

Phrasee kan forbedre marketing-tekst på over 20 sprog, herunder japansk. Kunne du diskutere nogle af de unikke naturlige sprogbehandlingsproblemer, der opstår med fremmede sprog?

Det seneste tilføjelse til vores sæt af understøttede sprog er russisk. Dette er et slavisk sprog og er ret forskelligt fra andre indoeuropæiske sprog. I dette tilfælde var det nødvendigt at bygge nye regler ind i vores sproggenererings-system, så outputtet er flydende og grammatisk korrekt. Dette er ikke kun et sprogproblem, men også et softwareudviklingsproblem. Når outputtet af vores system er på udviklerens modersmål, er det relativt let at spotte fejl og verificere, at alt fungerer korrekt. Imidlertid, når vi arbejder med russisk eller japansk, kunne vi være output af nonsens og have ingen idé. Det er vigtigt at have en modersprogstaler tæt involveret i QA-processen.

Udfordringen er ikke kun med fremmede sprog. Der er også nogle interessante regionale forskelle. For eksempel har engelsk stavemåder for USA, Storbritannien, Australien, Canada osv. Derudover er der grammatiske forskelle. På britisk engelsk “har man et kig”, mens på amerikansk engelsk “tager man et kig”. Betydningen af ord kan også variere fra sted til sted. En “gummi” er en viskelæder i Storbritannien, men en kondom i Nordamerika! For at NLG-systemer kan bruges til virksomhedsapplikationer, skal de kunne håndtere alle disse nuancer.

Kunne du også dele nogle detaljer om, hvordan dyb læring bruges i Phrasee?

Der er to hoved-AI-komponenter i Phrasees teknologi. Den første er naturlig sproggenerering (NLG), som faktisk producerer sprog. Den anden er dyb læring, og fokus her er på præstation. Præstation kan betyde forskellige ting afhængigt af konteksten. For eksempel er målet for en e-mail-emne linje at friste modtageren til at åbne e-mailen og se indholdet inde. For Facebook (META ) kan målet være at maksimere likes eller shares. Givet store mængder af historiske data er det muligt at finde subtile tendenser og mønstre, der aldrig ville blive bemærket af et menneske. Dette er et standard maskinlæring-problem.

Dyb læring tilbyder nogle fordele i forhold til den traditionelle maskinlæring-tilgang. Med traditionel maskinlæring er der en stærk fokus på “funktionssammenstilling”. Dette betyder, at udvikleren skal beslutte, hvad de tror er de vigtigste funktioner af sproget. f.eks. ord, længde, emoji-brug osv. Problemet er, at dette er begrænset af ingeniørens færdigheder og fantasi. Imidlertid bygger dyb læring sin egen maskinrepræsentation af sprog (dette kaldes end-to-end-læring). Derfor er det frit fra menneskelig bias og er en kraftfuld tilgang. Imidlertid er ulemperne, at det kan være svært at forstå, hvorfor modellen opfører sig, som den gør. “Forklarlighed” er et aktivt forskningsområde inden for dyb læring-samfundet. Imidlertid er der en grundlæggende trade-off mellem kompleksiteten af et system og vores evne til at forstå det. Menneskesprog er rodet, så succesfulde NLP-løsninger har typisk en høj grad af kompleksitet.

En af Phrasees funktioner er evnen til at skrive i en virksomheds unikke tone, kunne du uddybe, hvordan dette udføres?

Når vi tegner en ny kunde, er det første, vi gør, at indsamle information om deres virksomheds kommunikationsstil. Dette inkluderer enhver formel brandvejledning, historiske marketing-kampagner og en række spørgsmål, vi har udviklet til dette formål. All denne information bruges af en indre hold af sprogteknikere til at bygge en kunde-specifik “sprogmodel”. Vores sprogmodeller er generative, hvilket betyder, at de kan producere hidtil usete sprog i en kundes unikke stil.

Sprogmodeller kan opdateres når som helst. For eksempel er vi lige nu på toppen af COVID-19-krisen. Vores sprogteam gennemgår vores modeller for at sikre, at upassende sprog ikke kan genereres. En frase som “Disse tilbud er gået viralt!” kunne have været harmløs for nogle måneder siden, men er tydeligvis upassende midt i en global pandemi. Dette demonstrerer fleksibiliteten i vores system.

Hvad slags data har en virksomhed brug for for at komme i gang med Phrasee?

For at være ærlig, har vi ikke brug for meget data for at komme i gang. Første skridt er at identificere et passende projektområde. For eksempel kunne dette være emne linjerne for ugentlige promotions-e-mails. Ideelt set vil dette have en relativt stor målgruppe og kommunikationerne vil være regelmæssige. Når projektet er identificeret, har vi brug for information om det ønskede emne og brandstemme for at bygge sprogmodellen. Phrasee har brug for præstationsresultater på en løbende basis. Da vores løsning bruger maskinlæring, er det vigtigt, at vi måler og sporer nøglemetrikker over tid. Denne information indføres i vores system, så det kan fortsætte med at optimere for engagement.

Er der noget andet, du gerne vil dele om Phrasee?

Når Parry, Victoria og jeg startede Phrasee for fem år siden, var vi sikre på, at det kun ville være et spørgsmål om tid, før mange andre startups dukkede op med lignende produkter. Vores plan var at få et forspring på konkurrencen og blive ét skridt foran. Imidlertid er vi blevet overrasket over manglen på indgange til dette område. Hvor er alle andre? Jeg tror, der er flere grunde til dette, men en af de vigtigste er, at sprog er så svært. Jeg tror, at andre har forsøgt at skabe lignende produkter, men fejlede tidligt i R&D-fasen. Dette er en bekræftelse på, hvor unikt vores teknologi er.

Tak for det informative interview om naturlig sprogbehandling, naturlig sproggenerering og dyb læring. For at lære mere kan besøgende besøge Phrasee.