Dr. Neil Yager, medgrunnlegger og sjefsvitenskapsmann i Phrasee – Intervju-serie

Dr. Neil Yager er sjefsvitenskapsmann i Phrasee, og arkitekten bak Phrasee-metoden, et AI-drevet verkøy for kopiskriving som har hjulpet til å optimalisere markedsføringskopi for noen av verdens mest kjente merker, inkludert eBay, Groupon og Virgin – pluss mange flere, fra Australia til Amerika, på over 20 språk, fra engelsk til japansk.

Dr. Yager har skrevet over ett dusin akademiske publikasjoner, forfattet en bok om datautvinning, og innehar flere patenter. Som en av verdens ledende eksperter på kommersialisering av kunstig intelligens, har han en doktorgrad i datavitenskap fra University of New South Wales i Australia.

Hva var noen av dine tidligere AI-relaterte roller? 

Jeg har vært involvert i AI-relatert arbeid siden min doktorgrad i midten av 2000-årene. Imidlertid har feltet gått gjennom flere rebrandinger siden da. For eksempel, studerte jeg “statistisk mønstergjenkjenning” for 15 år siden. Et par år senere var dette mer vanlig kjent som “maskinlæring”, som er et mye mer fengende navn. Mer nylig har maskinlæring (og “dypt læring” i særdeleshet) blitt synonymt med “kunstig intelligens” generelt. Jeg har blandede følelser om dette. På den ene siden, har mitt arbeid med Phrasee lært meg viktigheten av branding. På den andre siden, bringer begrepet “kunstig intelligens” bagasje med seg og kan føre til misforståelser om teknologien. Jeg undrer meg på hvor vi ville være hvis vi fortsatt kalte det “statistisk mønstergjenkjenning”.

De fleste av mine tidligere arbeid var i feltene signalbehandling og datamaskin-syn. Jeg hadde ikke mye eksponering for naturlig språkbehandling før Phrasee. Jeg har siden lært at språk er sannsynligvis det vanskeligste problemet i AI.

I 2008 skrev du en bok kalt ‘Biometrisk system og dataanalyse: Design, evaluering og datautvinning‘, som broer aspektene mellom statistikk og maskinlæring for å gi en omfattende guide til å evaluere, tolke og forstå biometriske data. Utenom mer datamaskinkraft, tror du at dette feltet har utviklet seg siden boken ble publisert? Kan du beskrive hvordan? 

Dypt læring har revolusjonert feltene datamaskin-syn, språkbehandling og maskinlæring siden jeg skrev boken. Det ville ikke være mulig å skrive den boken i dag uten et kapittel om dypt læring.

Dypt læring-revolusjonen startet virkelig i 2012 da et dypt læring-modell vant en konkurranse kalt ImageNet. ImageNet er et visuelt objektgjenkjenning-datasett hvor datamaskinen bestemmer hva som er i et bilde (f.eks. “hund” eller “ballong”). I årevis hadde forskere gjort små fremskritt på benchmark-datasett som dette. Hver underfelt opererte uavhengig og avhengig av domene-spesifikke ekspertise. Nærmest over natten ble alle modellene som var bygget opp over mange år gjort foreldet. Dypt læring-algoritmer designet av utenforstående vant konkurranser med betydelige marginer. Dette transformerte AI-industrien.

Feltet er fortsatt raskt bevegelig og har utviklet seg enda mer siden vi startet Phrasee for noen få år siden. For eksempel, de dypt læring-verktøyene vi nå avhenger av, eksisterte ikke da vi grunnla selskapet. Innovasjonens tempo bringer sine egne utfordringer.

Kan du dele med oss hva Phrasee kan gjøre for bedrifter? 

Phrasee løser to problemer for bedrifter. Først og fremst er det problemet med å skrive markedsføringskopi. Det er nå flere annonsekjeder enn noen gang før (f.eks. e-post, AdWords, sosiale medier, trykk, podcaster osv.). Det er vanskelig å skrive kopi for alle disse som er av høy kvalitet og som følger bedriftens stil og tone. Phrasee løser problemet med skala ved å generere kopi automatisk. For det andre er det viktig at all språk som brukes er effektivt. Ikke bare genererer Phrasee språk, men det bruker også maskinlæring til å forutsi effekten av meldingen og optimalisere etter hvert.

Hva var det som tiltalte deg til å bruke naturlig språkbehandling (NLP) og dypt læring for å forbedre kraften til annonsekopi? 

Å bruke AI til å maksimere effekten av digitale markedsføringskampanjer er ikke en ny idé. Det er lag med mennesker med doktorgrader i fysikk som har blitt rekruttert til å arbeide med annonseoptimalisering. Imidlertid fokuserer de fleste av disse lagene sine R&D-innsats på ting som målgruppe-segmentering, personliggjøring, leveringstid, annonseplassering, fonter osv. Da vi først diskuterte ideer for Phrasee, la vi merke til at nesten alt om annonser ble optimalisert, bortsett fra selve språket som ble brukt! Vi identifiserte dette som et hull i markedet og en enorm mulighet.

Phrasee kan forbedre markedsføringskopi på over 20 språk, inkludert japansk. Kan du diskutere noen av de unike NLP-problemene som oppstår med fremmede språk? 

Det nyeste tillegget til vårt sett av støttede språk er russisk. Dette er et slavisk språk, og det er ganske forskjellig fra andre indoeuropeiske språk. I dette tilfelle var det nødvendig å bygge nye regler inn i vårt språkgenereringsystem så at utgangen er flytende og grammatisk korrekt. Dette er ikke bare et språkproblem. Det er også et programvareutviklingsproblem. Når utgangen av vårt system er på utviklerens morsmål, er det relativt enkelt å spore feil og verifisere at alt fungerer korrekt. Imidlertid, når vi arbeider med russisk eller japansk, kan vi produsere nonsens og ha ingen aning. Det er viktig å ha en innfødt taler nært involvert i kvalitetskontrollprosessen.

Utfordringen er ikke bare med fremmede språk. Det er også noen interessante regionale forskjeller. For eksempel, har engelsk stavemåtevariasjoner for USA, Storbritannia, Australia, Canada osv. Videre er det grammatiske forskjeller. På britisk engelsk “har du en titt”, mens på amerikansk engelsk “tar du en titt”. Meningen til ord kan også variere fra sted til sted. En “gummistift” er en slettegummi i Storbritannia, men et kondom i Nord-Amerika! For at NLG-systemer skal kunne brukes til bedriftsformål, må de håndtere alle disse nyansene.

Kan du også dele noen detaljer om hvordan dypt læring brukes i Phrasee? 

Det er to hoved-AI-komponenter i Phrasees teknologi. Den første er naturlig språkgenerering (NLG), som faktisk produserer språk. Den andre er dypt læring, og fokuset her er på ytelse. Ytelse kan bety forskjellige ting avhengig av konteksten. For eksempel, er målet for en e-post-emne linje å lokke mottakeren til å åpne e-posten og se innholdet inne. For Facebook (META ), kan målet være å maksimere likes eller delinger. Gitt store mengder historiske data, er det mulig å finne subtile trender og mønster som aldri ville bli lagt merke til av en menneske. Dette er et standard maskinlæring-problem.

Dypt læring tilbyr noen fordeler over den tradisjonelle maskinlæring-tilnærmingen. Med tradisjonell maskinlæring er det en sterk fokus på “egenskapsingeniør”. Dette betyr at utvikleren må bestemme hva de tror er de viktigste egenskapene til språket. f.eks. ord, lengde, emoji-bruk osv. Problemet er at dette er begrenset av ingeniørens ferdigheter og forestillingsEVNE. Imidlertid, med dypt læring, mates råteksten inn i modellen, og den bygger sin egen maskinrepresentasjon av språk (dette kalles end-to-end-læring). Derfor er det fritt fra menneskelig fordom og det er en kraftfull tilnærming. Imidlertid, er det en ulempe at det kan være vanskelig å forstå hvorfor modellen oppfører seg på en bestemt måte. “Forklarbarhet” er et aktivt forskningsområde innen dypt læring-samfunnet. Imidlertid, er det en grunnleggende avveining mellom kompleksiteten til et system og vår evne til å forstå det. Menneskelig språk er ustyrt, så vellykkede NLP-løsninger har vanligvis en høy grad av kompleksitet.

En av funksjonene til Phrasee er evnen til å skrive i en merkevarens unike tone, kan du utdype hvordan dette utføres? 

Når vi signerer opp en ny kunde, er det første vi gjør å samle informasjon om deres merkevarens kommunikasjonsstil. Dette inkluderer alle formelle merkevare-veiledninger, historiske markedsføringskampanjer og en rekke spørsmål som vi har utviklet for dette formålet. All denne informasjonen brukes av en intern gruppe språkteknikere til å bygge en kunde-spesifikk “språkmodell”. Våre språkmodeller er generative, det vil si at de kan produsere aldri-sett-før språk i en kundes unike stil.

Språkmodeller kan oppdateres når som helst. For eksempel, er vi nå på toppen av COVID-19-krisen. Vårt språkteam gjennomgår våre modeller for å sikre at upassende språk ikke kan skapes. En frase som “Disse tilbudene går viral!” kunne ha vært harmløs for noen måneder siden, men er nå åpenbart upassende i midten av en global pandemi. Dette demonstrerer fleksibiliteten til vårt system.

Hva type data trenger et selskap som ønsker å starte med Phrasee? 

For å være ærlig, trenger vi ikke mye data for å starte med oss. Det første steget er å identifisere et egnet prosjektområde. For eksempel, kan dette være emne linjer for ukentlige promoteringse-poster. Ideelt sett, vil dette ha en relativt stor målgruppe og kommunikasjonene vil være regelmessige. Når prosjektet er identifisert, trenger vi informasjon om det ønskede emnet og merkevarens tone for å bygge språkmodellen. Phrasee trenger ytelsesresultater på en kontinuerlig basis. Siden vår løsning bruker maskinlæring, er det viktig at vi måler og sporer nøkkel-målinger over tid. Denne informasjonen mates tilbake inn i vårt system så det kan kontinuerlig optimalisere for engasjement.

Er det noe annet du ønsker å dele om Phrasee? 

Når Parry, Victoria og jeg startet Phrasee for fem år siden, var vi sikre på at det bare ville være et spørsmål om tid før mange andre start-ups dukket opp med lignende produkter. Vår plan var å få et forsprang på konkurransen og holde ett skritt foran. Imidlertid, har vi vært overrasket over mangelen på inntredere i dette rommet. Hvor er alle de andre? Jeg tror det er noen grunner til dette, men en av de viktigste er at språk er så vanskelig. Jeg mistenker at andre har prøvd å skape lignende produkter, men feilet tidlig i R&D-fasen. Dette er en testament til hvor unikt vår teknologi er.

Takk for det informative intervjuet om naturlig språkbehandling, naturlig språkgenerering og dypt læring. For å lære mer, kan besøkende besøke Phrasee.