Dr. Neil Yager, medgrundare och chefsforskare på Phrasee – Intervju-serie

Dr. Neil Yager är chefsforskare på Phrasee och arkitekten bakom Phrasee-metoden, ett AI-drivet verktyg för copywriting som har hjälpt till att optimera marknadsföringskopior för några av världens mest kända varumärken, inklusive eBay, Groupon och Virgin – plus många fler, från Australien till Amerika, på över 20 språk, från engelska till japanska.

Dr. Yager har skrivit över ett dussin akademiska publikationer, författat en bok om datautvinning och har flera patent. Som en av världens ledande experter på kommersialisering av artificiell intelligens har han en doktorsexamen i datavetenskap från University of New South Wales i Australien.

Du är en 20-årig veteran inom tech-branschen, vad var några av dina tidigare AI-relaterade roller?

Jag har varit involverad i AI-relaterat arbete sedan min doktorsexamen i mitten av 2000-talet. Men området har genomgått flera ombrandningar sedan dess. Till exempel studerade jag “statistisk mönsterigenkänning” för 15 år sedan. Några år senare var detta mer allmänt känt som “maskinlärning”, som är ett mycket mer tilltalande namn. Mer nyligen har maskinlärning (och “djuplärning” i synnerhet) blivit synonymt med “artificiell intelligens” i allmänhet. Jag har blandade känslor om detta. Å ena sidan har mitt arbete med Phrasee lärt mig vikten av varumärkesbyggnad. Å andra sidan medför begreppet “artificiell intelligens” bagage och kan leda till missuppfattningar om tekniken. Jag undrar var vi skulle vara om vi fortfarande kallade det “statistisk mönsterigenkänning”.

De flesta av mina tidigare arbeten var inom områdena signalbehandling och datorseende. Jag hade inte mycket exponering för naturlig språkbehandling före Phrasee. Jag har sedan lärt mig att språk förmodligen är det svåraste problemet inom AI.

2008 skrev du en bok som heter ‘Biometric System and Data Analysis: Design, Evaluation, and Data Mining‘, som kombinerar aspekter av statistik och maskinlärning för att ge en omfattande guide för utvärdering, tolkning och förståelse av biometrisk data. Utanför mer datorkraft, tror du att detta område har utvecklats sedan boken publicerades? Kan du beskriva hur?

Djuplärning har revolutionerat områdena datorseende, språkbehandling och maskinlärning sedan jag skrev den boken. Det skulle inte vara möjligt att skriva den boken idag utan ett avsnitt om djuplärning.

Djuplärningsrevolutionen började verkligen 2012 när en djuplärningsmodell vann en tävling som heter ImageNet. ImageNet är ett visuellt objektigenkänningsdataset där datorn bestämmer vad som finns i en bild (t.ex. “hund” eller “ballong”). Under årtionden hade forskare gjort gradvisa framsteg på benchmark-dataset som detta. Varje underområde fungerade oberoende och förlitade sig tungt på domänspecifik expertis. Nästan över en natt blev alla modeller som noggrant byggts upp under många år föråldrade. Djuplärningsalgoritmer utformade av utomstående vann tävlingar med betydande marginaler. Detta förvandlade AI-industrin.

Området är fortfarande snabbt föränderligt och har utvecklats ännu mer sedan vi startade Phrasee för några år sedan. Till exempel fanns de djuplärningsverktyg vi nu förlitar oss på inte ens tillgängliga när vi grundade företaget. Innovationstakten medför utmaningar i sig.

Kunde du dela med dig av vad Phrasee kan göra för företag?

Phrasee löser två problem för företag. Först finns det problemet med att skriva marknadsföringskopior. Det finns fler annonskanaler nu än någonsin tidigare (t.ex. e-post, AdWords, sociala medier, tryck, poddsändningar etc.). Det är svårt att skriva kopior för alla dessa som är av hög kvalitet och följer varumärkets stil och ton. Phrasee löser problemet med skala genom att automatiskt generera kopior. För det andra är det viktigt att all språkanvändning är effektiv. Inte bara genererar Phrasee språk, utan det använder också maskinlärning för att förutsäga effekten av budskapen och optimera dem enligt behov.

Vad var det som drog dig till idén att använda naturlig språkbehandling (NLP) och djuplärning för att förbättra kraften i annonskopior?

Att använda AI för att maximera effekten av digitala marknadsföringskampanjer är inte en ny idé. Det finns team av personer med doktorsexamen i fysik som har rekryterats för att arbeta med annonsoptimering. Men i de flesta fall fokuserar de sitt FoU-arbete på saker som målgruppssegmentering, personalisering, leveranstid, annonsplacering, teckensnitt etc. När vi först diskuterade idéer för Phrasee lade vi märke till att nästan allt om annonser optimeras utom det faktiska språket som används! Vi identifierade detta som ett gap i marknaden och en enorm möjlighet.

Phrasee kan förbättra marknadsföringskopior på över 20 språk, inklusive japanska. Kunde du diskutera några av de unika NLP-problem som uppstår med främmande språk?

Den senaste tillägget till vår uppsättning av språk som stöds är ryska. Detta är ett slaviskt språk och skiljer sig avsevärt från andra indoeuropeiska språk. I detta fall var det nödvändigt att bygga in nya regler i vårt språkgenereringssystem så att utmatningen är flytande och grammatiskt korrekt. Detta är inte bara ett språkproblem, utan också ett mjukvaruutvecklingsproblem. När utmatningen från vårt system är på utvecklarens modersmål är det relativt lätt att upptäcka fel och verifiera att allt fungerar korrekt. Men när vi arbetar med ryska eller japanska kan vi producera nonsens och ha ingen aning. Det är viktigt att ha en modersmålstalare nära involverad i kvalitetssäkringsprocessen.

Utmaningen är inte bara språkrelaterad. Det finns också intressanta regionala skillnader. Till exempel har engelska stavningsskillnader för USA, Storbritannien, Australien, Kanada etc. Dessutom finns det grammatiska skillnader. I brittisk engelska “har man en titt”, medan i amerikansk engelska “tar man en titt”. Betydelsen av ord kan också variera från plats till plats. En “gummikudde” är en suddgumma i Storbritannien, men ett kondom i Nordamerika! För att NLG-system ska kunna användas för företagsapplikationer måste de hantera alla dessa nyanser.

Kunde du också dela med dig av några detaljer om hur djuplärning används i Phrasee?

Det finns två huvudsakliga AI-komponenter i Phrasees teknologi. Den första är naturlig språkgenerering (NLG), som faktiskt producerar språk. Den andra är djuplärning, och fokus ligger här på prestanda. Prestanda kan betyda olika saker beroende på sammanhanget. Till exempel är målet för en e-postämnesrad att locka mottagaren att öppna e-postmeddelandet och se innehållet inuti. För Facebook (META ) kan målet vara att maximera gillamarkeringar eller delningar. Med stora mängder historisk data är det möjligt att hitta subtila trender och mönster som aldrig skulle märkas av en människa. Detta är ett standardmaskinlärningsproblem.

Djuplärning erbjuder några fördelar jämfört med den traditionella maskinlärningsmetoden. Med traditionell maskinlärning finns det en stark fokus på “funktionsteknik”. Detta innebär att utvecklaren måste bestämma vilka funktioner som anses vara de viktigaste för språket. t.ex. ord, längd, emoji-användning etc. Problemet är att detta begränsas av utvecklarens färdighet och fantasi. Med djuplärning matas det råa texten in i modellen, och den bygger sin egen maskinrepresentation av språk (detta kallas slut-till-slut-lärande). Därför är den fri från mänsklig bias och är en kraftfull metod. Men nackdelen är att det kan vara svårt att förstå varför modellen beter sig som den gör. “Förklarbarhet” är ett aktivt forskningsområde inom djuplärningssamhället. Men det finns en grundläggande avvägning mellan systemets komplexitet och vår förmåga att förstå det. Mänskligt språk är komplicerat, så framgångsrika NLP-lösningar har vanligtvis en hög grad av komplexitet.

En av Phrasees funktioner är förmågan att skriva i ett varumärkes unika ton, kunde du förklara hur detta görs?

När vi skriver in en ny kund samlar vi in information om deras varumärkes kommunikationsstil. Detta inkluderar alla formella varumärkesriktlinjer, tidigare marknadsföringskampanjer och en serie frågeformulär som vi har utvecklat för detta ändamål. All denna information används av ett internt team av språktekniker för att bygga en kundspecifik “språkmodell”. Våra språkmodeller är generativa, vilket innebär att de kan producera aldrig tidigare sett språk i en kunds unika stil.

Språkmodeller kan uppdateras när som helst. Till exempel är vi just nu i toppen av COVID-19-krisen. Vårt språkteam granskar våra modeller för att se till att olämpligt språk inte kan skapas. En fras som “Dessa erbjudanden sprids som en löpeld!” kunde ha varit ofarlig för några månader sedan, men är tydligt olämplig mitt i en global pandemi. Detta demonstrerar flexibiliteten i vårt system.

Vilken typ av data behöver ett företag som vill komma igång med Phrasee?

Ärligt talat, behövs inte så mycket data för att komma igång med oss. Det första steget är att identifiera ett lämpligt projektområde. Till exempel kan detta vara ämnesraderna för veckovisa kampanjer via e-post. Idealiskt sett bör detta ha en relativt stor publik och kommunikationen bör vara regelbunden. När projektet har identifierats behöver vi information om det avsedda ämnet och varumärkets röst för att bygga språkmodellen. Phrasee behöver prestandaresultat pågående. Eftersom vår lösning använder maskinlärning är det viktigt att vi mäter och spårar nyckelmetricer över tid. Denna information matas tillbaka in i vårt system så att det kan optimera för engagemang kontinuerligt.

Finns det något annat du vill dela med dig om Phrasee?

När Parry, Victoria och jag startade Phrasee för fem år sedan var vi säkra på att det bara var en tidsfråga innan många andra startups skulle dyka upp med liknande produkter. Vår plan var att få en försprång och hålla oss ett steg före. Men vi har blivit förvånade över bristen på deltagare i detta område. Var är alla andra? Jag tror att det finns flera skäl till detta, men ett av de viktigaste är att språk är så svårt. Jag misstänker att andra har försökt skapa liknande produkter men misslyckats tidigt i FoU-stadiet. Detta är ett bevis på hur unik vår teknik är.

Tack för den informativa intervjun om naturlig språkbehandling, naturlig språkgenerering och djuplärning. För att lära mer kan besökare besöka Phrasee.