Dr. Neil Yager, medgrundare och chefsforskare på Phrasee – Intervjuserie

Dr. Neil Yager är chefsforskare på Phrasee, och arkitekten bakom Phrasee-metoden, ett AI-drivet copywritingverktyg som har hjälpt till att optimera marknadsföringskopior för några av världens mest erkända varumärken, inklusive eBay, Groupon och Virgin – plus många fler, från Australien till Amerika, på över 20 språk, från engelska till japanska.

Dr. Yager har skrivit över ett dussin akademiska publikationer, författat en bok om datautvinning, och innehar flera patent. Som en av världens ledande experter på kommersialisering av artificiell intelligens, har han en doktorsexamen i datavetenskap från University of New South Wales i Australien.

Du är en 20-årig veteran inom techindustrin, vad var några av dina tidigare AI-relaterade roller?

Jag har varit involverad i AI-relaterat arbete sedan min doktorsexamen i mitten av 2000-talet. Men området har genomgått flera ombrandningar sedan dess. Till exempel studerade jag “statistisk mönsterigenkänning” för 15 år sedan. Några år senare var detta mer allmänt känt som “maskinlärning”, som är ett mycket mer tilltalande namn. Mer nyligen har maskinlärning (och “djuplärning” i synnerhet) blivit synonymt med “artificiell intelligens” i allmänhet. Jag har blandade känslor om detta. Å ena sidan har mitt arbete med Phrasee lärt mig vikten av varumärkesbyggnad. Å andra sidan medför begreppet “artificiell intelligens” bagage och kan leda till missuppfattningar om tekniken. Jag undrar var vi skulle vara om vi fortfarande kallade det “statistisk mönsterigenkänning”.

De flesta av mina tidigare arbeten var inom områdena signalbehandling och datorseende. Jag hade inte mycket exponering för naturlig språkbehandling före Phrasee. Jag har sedan lärt mig att språk är troligen det svåraste problemet inom AI.

2008 skrev du en bok som heter ‘Biometrisk system- och dataanalys: Design, utvärdering och datautvinning‘, som kombinerar aspekter av statistik och maskinlärning för att ge en omfattande guide till utvärdering, tolkning och förståelse av biometrisk data. Utanför mer beräkningsresurser, tror du att detta område har utvecklats sedan boken publicerades? Kan du beskriva hur?

Djuplärning har förändrat områdena datorseende, språkbehandling och maskinlärning sedan jag skrev den boken. Det skulle inte vara möjligt att skriva den boken idag utan ett avsnitt om djuplärning.

Djuplärningsrevolutionen tog verkligen fart 2012 när en djuplärningsmodell vann en tävling som kallades ImageNet. ImageNet är ett visuellt objektigenkänningsdataset där datorn bestämmer vad som finns i en bild (t.ex. “hund” eller “ballong”). Under decennier hade forskare gjort gradvisa framsteg på benchmark-datasets som detta. Varje underområde opererade oberoende och förlitade sig tungt på domänspecifik expertis. Nästan över en natt blev alla modeller som byggts under många år föråldrade. Djuplärningsalgoritmer utformade av utomstående vann tävlingar med betydande marginaler. Detta förvandlade AI-industrin.

Området är fortfarande snabbt föränderligt och har utvecklats ännu mer sedan vi startade Phrasee för några år sedan. Till exempel existerade inte de djuplärningsverktyg vi nu förlitar oss på när vi grundade företaget. Innovationstakten medför utmaningar i sig.

Kan du dela med oss vad det är som Phrasee kan göra för företag?

Phrasee löser två problem för företag. Först finns problemet med att skriva marknadsföringskopior. Det finns fler annonseringskanaler nu än någonsin tidigare (t.ex. e-post, AdWords, sociala medier, tryck, poddsändningar etc.). Det är svårt att skriva kopior för alla dessa som är av hög kvalitet och följer varumärkets stil och ton. Phrasee löser problemet med skala genom att automatiskt generera kopior. För det andra är det viktigt att all språkanvändning är effektiv. Inte bara genererar Phrasee språk, utan använder också maskinlärning för att förutsäga effekten av meddelandet och optimera enligt behov.

Vad var det som lockade dig till idén att använda Naturlig Språkbehandling (NSB), och Djuplärning för att förbättra kraften i annonskopior?

Att använda AI för att maximera effekten av digitala marknadsföringskampanjer är inte en ny idé. Det finns team av människor med doktorsexamen i fysik som har rekryterats för att arbeta med annonsoptimering. Men i de flesta fall fokuserar de sin FoU-insats på saker som målgruppssegmentering, personalisering, leveranstid, annonsplacering, teckensnitt etc. När vi först diskuterade idéer för Phrasee lade vi märke till att nästan allt om annonser optimeras utom det faktiska språket som används! Vi identifierade detta som en lucka på marknaden och en enorm möjlighet.

Phrasee kan förbättra marknadsföringskopior på över 20 språk, inklusive japanska. Kan du diskutera några av de unika Naturlig Språkbehandlingsproblemen som möts med främmande språk?

Den senaste tillägget till vår uppsättning av stödda språk är ryska. Detta är ett slaviskt språk och är ganska annorlunda än andra indoeuropeiska språk. I detta fall var det nödvändigt att bygga in nya regler i vårt språkgenereringssystem så att utmatningen är flytande och grammatiskt korrekt. Detta är inte bara ett språkproblem. Det är också ett mjukvaruutvecklingsproblem. När utmatningen från vårt system är på utvecklarens modersmål är det relativt lätt att upptäcka fel och verifiera att allt fungerar korrekt. Men när vi arbetar med ryska eller japanska kan vi producera nonsens och ha ingen aning. Det är viktigt att ha en modersmålstalare nära involverad i kvalitetssäkringsprocessen.

Utmaningen är inte bara med främmande språk. Det finns också några intressanta regionala skillnader. Till exempel har engelska stavningsvarianter för USA, Storbritannien, Australien, Kanada etc. Dessutom finns det grammatiska skillnader. I brittisk engelska “har man en titt”, medan i amerikansk engelska “tar man en titt”. Betydelsen av ord kan också variera från plats till plats. En “gummikudde” är en suddgumma i Storbritannien, men ett kondom i Nordamerika! För att NLG-system ska kunna användas för affärsapplikationer måste de hantera alla dessa nyanser.

Kan du också dela med oss några detaljer om hur djuplärning används i Phrasee?

Det finns 2 huvudsakliga AI-komponenter i Phrasees teknologi. Den första är Naturlig Språkgenerering (NSG), som faktiskt producerar språk. Den andra är djuplärning, och fokus ligger här på prestanda. Prestanda kan betyda olika saker beroende på sammanhanget. Till exempel är målet med en e-postämnesrad att locka mottagaren att öppna e-postmeddelandet och se innehållet innanför. För Facebook kan målet vara att maximera gillanden eller delningar. Med stora mängder historiska data är det möjligt att hitta subtila trender och mönster som aldrig skulle märkas av en människa. Detta är ett standardmaskinlärningsproblem.

Djuplärning erbjuder några fördelar jämfört med den traditionella maskinlärningsmetoden. Med traditionell maskinlärning finns det ett starkt fokus på “funktionsteknik”. Detta innebär att utvecklaren måste bestämma vad de tror är de viktigaste funktionerna i språket. t.ex. ord, längd, emoji-användning etc. Problemet är att detta är begränsat av utvecklarens färdighet och fantasi. Men med djuplärning matas råtexten in i modellen, och den bygger sin egen maskinrepresentation av språk (detta kallas slut-till-slut-lärande). Därför är den fri från mänsklig partiskhet och det är en kraftfull metod. Men nackdelen är att det kan vara svårt att förstå varför modellen beter sig på ett visst sätt. “Förklarbarhet” är ett aktivt forskningsområde inom djuplärningssamhället. Men det finns en grundläggande avvägning mellan systemets komplexitet och vår förmåga att förstå det. Mänskligt språk är rörigt, så framgångsrika NSB-lösningar är vanligtvis komplexa.

En av Phrasees funktioner är förmågan att skriva i ett varumärkes unika ton, kan du förklara hur detta utförs?

När vi tecknar ett nytt avtal med en kund samlar vi in information om deras varumärkes kommunikationsstil. Detta inkluderar alla formella varumärkesriktlinjer, tidigare marknadsföringskampanjer och en serie frågeformulär som vi har utvecklat för detta ändamål. All denna information används av ett internt team av språktekniker för att bygga en kundspecifik “språkmodell”. Våra språkmodeller är generativa, vilket innebär att de kan producera aldrig tidigare sett språk i en kunds unika stil.

Språkmodeller kan uppdateras när som helst. Till exempel är vi just nu i toppen av COVID-19-krisen. Vårt språkteam granskar våra modeller för att säkerställa att olämpligt språk inte kan skapas. En fras som “Dessa erbjudanden sprider sig!” hade varit ofarlig för några månader sedan, men är tydligt olämplig mitt i en global pandemi. Detta demonstrerar flexibiliteten i vårt system.

Vad typ av data behövs av ett företag som vill komma igång med Phrasee?

För att vara ärlig, behövs inte så mycket data för att komma igång med oss. Det första steget är att identifiera ett lämpligt projektområde. Till exempel kan detta vara ämnesraderna för veckovisa kampanjer via e-post. Idealt bör detta ha en relativt stor publik och kommunikationer kommer att vara regelbundna. När projektet har identifierats behöver vi information om det avsedda ämnet och varumärkesrösten för att bygga språkmodellen. Phrasee behöver prestandaresultat pågående. Eftersom vår lösning använder maskinlärning är det viktigt att vi mäter och spårar nyckelmetricer över tid. Denna information matas tillbaka till vårt system så att det kan fortsätta optimera för engagemang.

Finns det något annat du vill dela om Phrasee?

När Parry, Victoria och jag startade Phrasee för fem år sedan var vi säkra på att det bara skulle vara en tidsfråga innan många andra startups dök upp med liknande produkter. Vår plan var att få en försprång till konkurrensen och stanna ett steg före. Men vi har blivit överraskade av bristen på nya aktörer på denna marknad. Var är alla andra? Jag tror att det finns flera skäl till detta, men ett av de viktigaste är att språk är så svårt. Jag misstänker att andra har försökt skapa liknande produkter men misslyckats tidigt i FoU-stadiet. Detta är ett bevis för hur unik vår teknik är.

Tack för den informativa intervjun om Naturlig Språkbehandling, Naturlig Språkgenerering och Djuplärning. För att lära mer kan besökare besöka Phrasee.