Dr. Neil Yager, Co-Founder og Chief Scientist af Phrasee – Interview Serie

Dr. Neil Yager er Chief Scientist af Phrasee, og arkitekten bag Phrasee-metoden, et AI-drevet copywriting-værktøj, der har hjulpet med at optimere marketing-tekst for nogle af verdens mest kendte mærker, herunder eBay, Groupon og Virgin – plus mange flere, fra Australien til Amerika, på over 20 sprog, fra engelsk til japansk.

Dr. Yager har skrevet over et dusin akademiske publikationer, skrevet en bog om data mining, og har flere patenter. Som en af verdens førende eksperter i commercialisering af kunstig intelligens, har han en ph.d. i datalogi fra University of New South Wales i Australien.

Du er en 20-årig veteran i tech-industrien, hvad var nogle af dine tidligere AI-relaterede roller?

Jeg har været involveret i AI-relateret arbejde siden min ph.d. i midten af 2000’erne. however, feltet har gennemgået flere rebrandinger siden da. For eksempel, studerede jeg “statistisk mønstergenkendelse” for 15 år siden. Et par år senere var dette mere almindeligt kendt som “machine learning”, som er et langt mere fængende navn. Mere nylig er machine learning (og “deep learning” i særdeleshed) blevet synonymt med “kunstig intelligens” generelt. Jeg har blandede følelser omkring dette. På den ene side, har mit arbejde med Phrasee lært mig vigtigheden af branding. På den anden side, bringer begrebet “kunstig intelligens” bagage med sig og kan føre til misforståelser om teknologien. Jeg undrer mig over, hvor vi ville være, hvis vi alle stadig kaldte det “statistisk mønstergenkendelse”.

Det meste af mit tidligere arbejde var inden for områderne signalbehandling og computer vision. Jeg havde ikke megen erfaring med naturlig sprogbehandling før Phrasee. Jeg har siden lært, at sprog er sandsynligvis det sværeste problem i AI.

I 2008 skrev du en bog kaldet ‘Biometric System and Data Analysis: Design, Evaluation, and Data Mining‘, der forbinder aspekter af statistik og machine learning for at give en omfattende vejledning i, hvordan man vurderer, fortolker og forstår biometriske data. Ud over mere beregningsressourcer, tror du, at dette felt har udviklet sig siden bogen blev udgivet? Kan du beskrive, hvordan?

Deep learning har revolutioneret områderne computer vision, sprogbehandling og machine learning siden jeg skrev bogen. Det ville ikke være muligt at skrive denne bog i dag uden et kapitel om deep learning.

Deep learning-revolutionen tog virkelig fart i 2012, da en deep learning-model vandt en konkurrence kaldet ImageNet. ImageNet er et visuelt objektgenkendelsesdataset, hvor computeren bestemmer, hvad der er på et billede (f.eks. “hund” eller “ballon”). I årtier havde forskere gjort små fremskridt på benchmark-datasets som dette. Hver underdisciplin opererede uafhængigt og afhængigt af domænespecifik ekspertise. Næsten over nat blev alle de modeller, der var bygget op over mange år, gjort forældede. Deep learning-algoritmer designet af outsiders vandt konkurrencer med betydelige marginer. Dette transformede AI-industrien.

Feltet er stadig under hurtig udvikling og har udviklet sig endda siden vi startede Phrasee for nogle få år siden. For eksempel, eksisterede de deep learning-værktøjer, vi nu afhænger af, ikke, da vi grundlagde virksomheden. Innovationens tempo medfører udfordringer i sig selv.

Kan du dele med os, hvad det er, Phrasee kan gøre for virksomheder?

Phrasee løser to problemer for virksomheder. Først og fremmest er der problemet med at skrive marketing-tekst. Der er flere reklamekanaler nu end nogensinde før (f.eks. e-mail, AdWords, sociale medier, tryk, podcasts osv.). Det er svært at skrive tekst for alle disse, der er af høj kvalitet og overholder virksomhedens stil og tone. Phrasee løser problemet med skala ved automatisk at generere tekst. For det andet er det vigtigt, at al den sprog, der bruges, er effektivt. Ikke kun genererer Phrasee sprog, men det bruger også machine learning til at forudsige effekten af beskeden og optimere derefter.

Hvad var det, der tiltrak dig til idéen om at bruge Natural Language Processing (NLP) og Deep Learning til at forbedre kraften af reklame-tekst?

At bruge AI til at maksimere effekten af digitale marketing-kampagner er ikke en ny idé. Der er hold af mennesker med ph.d.’er i fysik, der er blevet rekrutteret til at arbejde med reklameoptimering. however, i de fleste tilfælde fokuserer de deres R&D-bestræbelser på ting som publikumssegmentering, personalisering, leveringstid, reklameplacering, skrifttyper osv. Da vi først begyndte at diskutere idéer til Phrasee, lagde vi mærke til, at stort set alt om reklamer blev optimeret undtagen den faktiske sprog, der blev brugt! Vi identificerede dette som et gap i markedet og en enorm mulighed.

Phrasee kan forbedre marketing-tekst på over 20 sprog, herunder japansk. Kan du diskutere nogle af de unikke Natural Language Processing-problemer, der opstår med fremmede sprog?

Det seneste tilskud til vores sæt af understøttede sprog er russisk. Dette er et slavisk sprog og er ret forskelligt fra andre indoeuropæiske sprog. I dette tilfælde var det nødvendigt at bygge nye regler ind i vores sproggenererings-system, så outputtet er flydende og grammatisk korrekt. Dette er ikke kun et sprogproblem. Det er også et software-udviklingsproblem. Når outputtet af vores system er på udviklerens modersmål, er det relativt let at spotte fejl og verificere, at alt fungerer korrekt. however, når vi arbejder med russisk eller japansk, kunne vi være output af nonsens og have ingen idé. Det er vigtigt at have en indfødt taler tæt involveret i QA-processen.

Udfordringen er ikke kun med fremmede sprog. Der er også nogle interessante regionale forskelle. For eksempel, har engelsk stavningssvarierer for USA, Storbritannien, Australien, Canada osv. Derudover er der grammatiske forskelle. På britisk engelsk “har man et kig”, mens på amerikansk engelsk “tager man et kig”. Betødningen af ord kan også variere fra sted til sted. En “gummideksel” er en viskelæder i Storbritannien, men et kondom i Nordamerika! For at NLG-systemer kan bruges til forretningsformål, skal de kunne håndtere alle disse nuancer.

Kan du også dele nogle detaljer om, hvordan deep learning bruges i Phrasee?

Der er 2 hoved-AI-komponenter i Phrasees teknologi. Den første er Natural Language Generation (NLG), der faktisk producerer sprog. Den anden er deep learning, og fokus her er på præstation. Præstation kan betyde forskellige ting afhængigt af konteksten. For eksempel, er målet for en e-mail-emne linje at friste modtageren til at åbne e-mailen og se indholdet inde. For Facebook, kan målet være at maksimere likes eller delinger. Givet store mængder historiske data, er det muligt at finde subtile tendenser og mønstre, der aldrig ville blive bemærket af et menneske. Dette er et standard machine learning-problem.

Deep learning tilbyder nogle fordele i forhold til den traditionelle machine learning-tilgang. Med traditionel machine learning er der en stærk fokus på “feature engineering”. Dette betyder, at udvikleren skal beslutte, hvad de tror er de vigtigste funktioner af sproget. f.eks. ord, længde, emoji-brug osv. Problemet er, at dette er begrænset af udviklerens færdighed og fantasi. however, med deep learning fødes den rå tekst ind i modellen, og den bygger sin egen maskin-repræsentation af sproget (dette kaldes end-to-end-læring). Derfor er det frit fra menneskelig fordom og er en kraftfuld tilgang. however, ulemperne er, at det kan være svært at forstå, hvorfor modellen opfører sig, som den gør. “Explainability” er et aktivt forskningsområde inden for deep learning-samfundet. however, der er en grundlæggende trade-off mellem kompleksiteten af et system og vores evne til at forstå det. Menneskesprog er rodet, så succesfulde NLP-løsninger har typisk en høj grad af kompleksitet.

En af funktionerne i Phrasee er evnen til at skrive i en virksomheds unikke tone, kan du uddybe, hvordan dette udføres?

Når vi tegner en ny kunde, er det første, vi gør, at indsamle information om deres virksomheds kommunikationsstil. Dette inkluderer enhver formel brand-vejledning, historiske marketing-kampagner og en række spørgeskemaer, vi har udviklet til dette formål. All denne information bruges af en indre hold af sprogteknikere til at bygge en kunde-specifik “sprogmodel”. Vore sprogmodeller er generative, hvilket betyder, at de kan producere aldrig set før sprog i en kundes unikke stil.

Sprogmodeller kan opdateres når som helst. For eksempel, er vi lige nu i toppen af COVID-19-krisen. Vores sprog-hold gennemgår vores modeller for at sikre, at upassende sprog ikke kan skabes. En frase som “Disse tilbud er gået viralt!” kunne have været harmløs for nogle måneder siden, men er tydeligvis upassende midt i en global pandemi. Dette demonstrerer fleksibiliteten af vores system.

Hvad slags data har en virksomhed brug for for at komme i gang med Phrasee?

For at være ærlig, behøver vi ikke meget data for at komme i gang med os. Det første skridt er at identificere et egnet projektområde. For eksempel, kunne dette være emne linjer for ugentlige promotions-e-mails. Ideelt set vil dette have en relativt stor publikum og kommunikation vil være regelmæssig. Når projektet er identificeret, har vi brug for information om det ønskede emne og brand-voicen for at bygge sprogmodellen. Phrasee har brug for præstationsresultater på en løbende basis. Da vores løsning bruger machine learning, er det vigtigt, at vi måler og sporer nøgle-metrice over tid. Denne information fødes tilbage i vores system, så det kan fortsætte med at optimere for engagement.

Er der noget andet, du gerne vil dele om Phrasee?

Da Parry, Victoria og jeg startede Phrasee for fem år siden, var vi sikre på, at det kun ville være et spørgsmål om tid, før mange andre startups dukkede op med lignende produkter. Vores plan var at få et spring på konkurrencen og blive ét skridt foran. however, vi er blevet overrasket over manglen på indgange til dette område. Hvor er alle andre? Jeg tror, der er flere grunde til dette, men en af de vigtigste er, at sprog er så svært. Jeg mistænker, at andre har forsøgt at skabe lignende produkter, men fejlede tidligt i R&D-fasen. Dette er en bekræftelse på, hvor unikt vores teknologi er.

Tak for den informative interview om Natural Language Processing, Natural Language Generation og Deep Learning. For at lære mere kan besøgende besøge Phrasee.