Dr. Neil Yager, mede-oprichter en hoofdwetenschapper van Phrasee – Interviewreeks

Dr. Neil Yager is de hoofdwetenschapper van Phrasee, en de architect van de Phrasee-methode, een AI-gebaseerd copywriting-instrument dat heeft geholpen om marketingteksten te optimaliseren voor enkele van ‘s werelds meest erkende merken, waaronder eBay, Groupon en Virgin – plus veel meer, van Australië tot Amerika, in meer dan 20 talen, van Engels tot Japans.

Dr. Yager heeft meer dan een dozijn academische publicaties geschreven, een boek over data mining geschreven en heeft verschillende octrooien. Als een van de wereldleiders in de commercialisatie van kunstmatige intelligentie, heeft hij een PhD in Computer Science van de University of New South Wales in Australië.

U bent een 20-jarige veteranen van de technologie-industrie, wat waren enkele van uw vorige AI-gerelateerde rollen?

Ik ben al sinds mijn PhD in de jaren 2000 betrokken bij AI-gerelateerd werk. Echter, het veld is sindsdien verschillende keren herdoopt. Bijvoorbeeld, 15 jaar geleden studeerde ik “statistische patroonherkenning”. Een paar jaar later werd dit meer algemeen bekend als “machine learning”, wat een veel aantrekkelijkere naam is. Nog recentere, machine learning (en “deep learning” in het bijzonder) is synoniem geworden met “kunstmatige intelligentie” in het algemeen. Ik heb gemengde gevoelens over dit. Enerzijds, mijn werk met Phrasee heeft me het belang van branding geleerd. Anderzijds, de term “kunstmatige intelligentie” brengt bagage met zich mee en kan leiden tot misverstanden over de technologie. Ik vraag me af waar we zouden zijn als we het nog steeds “statistische patroonherkenning” noemden.

De meeste van mijn vorige werk was in de gebieden van signaalverwerking en computer visie. Ik had niet veel blootstelling aan natuurlijke taalverwerking voordat ik bij Phrasee kwam. Ik heb sindsdien geleerd dat taal waarschijnlijk het moeilijkste probleem in AI is.

In 2008 schreef u een boek met de titel ‘Biometrisch systeem en gegevensanalyse: ontwerp, evaluatie en gegevensmijnbouw‘, dat aspecten van statistiek en machine learning combineert om een uitgebreide gids te bieden voor het evalueren, interpreteren en begrijpen van biometrische gegevens. Buiten meer rekenkracht, gelooft u dat dit veld is geëvolueerd sinds dit boek is gepubliceerd? Kunt u beschrijven hoe?

Deep learning heeft de gebieden van computer visie, taalverwerking en machine learning sinds ik dat boek schreef, sterk beïnvloed. Het zou niet mogelijk zijn om dat boek vandaag te schrijven zonder een sectie over deep learning.

De deep learning-revolutie begon echt in 2012, toen een deep learning-model een wedstrijd won genaamd ImageNet. ImageNet is een visueel objectherkenningdataset waarin de computer bepaalt wat er in een afbeelding zit (bijv. “hond” of “ballon”). Decennialang hadden onderzoekers kleine verbeteringen behaald op benchmarkdatasets zoals deze. Elk subveld werkte onafhankelijk en was sterk afhankelijk van domeinspecifieke expertise. Bijna overeenkomstig werden alle modellen die pijnlijk langzaam over vele jaren waren gebouwd, verouderd. Deep learning-algoritmes ontworpen door buitenstaanders wonnen wedstrijden met significante marges. Dit transformeerde de AI-industrie.

Het veld is nog steeds snel bewegend en is geëvolueerd, zelfs sinds de oprichting van Phrasee een paar jaar geleden. Bijvoorbeeld, de deep learning-instrumenten waarop we nu vertrouwen, bestonden niet eens toen we het bedrijf oprichtten. Het tempo van innovatie brengt zijn eigen uitdagingen met zich mee.

Kunt u ons vertellen wat Phrasee voor bedrijven kan doen?

Phrasee lost twee problemen op voor bedrijven. Ten eerste is er het probleem van het schrijven van marketingteksten. Er zijn nu meer advertentiekanaal dan ooit tevoren (bijv. e-mail, AdWords, sociale media, print, podcasts, enz.). Het is moeilijk om teksten te schrijven voor al deze kanalen die van hoge kwaliteit zijn en voldoen aan de stijl en toon van de merk. Phrasee lost het probleem van schaal op door automatisch teksten te genereren. Ten tweede is het belangrijk dat alle taal die wordt gebruikt effectief is. Niet alleen genereert Phrasee taal, maar het gebruikt ook machine learning om de impact van de boodschap te voorspellen en te optimaliseren.

Wat was het dat u aantrok tot het idee om Natural Language Processing (NLP) en Deep Learning te gebruiken om de kracht van advertentieteksten te verbeteren?

Het gebruik van AI om de impact van digitale marketingcampagnes te maximaliseren is geen nieuw idee. Er zijn teams van mensen met PhD’s in natuurkunde die zijn aangenomen om te werken aan advertentie-optimalisatie. Echter, in de meeste gevallen richten ze hun R&D-inspanningen op dingen zoals doelgroepsegmentatie, personalisatie, bezorgingstijd, advertentieplaatsing, lettertypen, enz. Toen we eerst ideeën aan het brainstormen waren voor Phrasee, merkten we op dat bijna alles over advertenties wordt geoptimaliseerd, behalve de daadwerkelijke taal die wordt gebruikt! We identificeerden dit als een lacune in de markt en een enorme kans.

Phrasee kan marketingteksten in meer dan 20 talen verbeteren, waaronder Japans. Kunt u enkele van de unieke Natural Language Processing-problemen bespreken die worden aangetroffen met vreemde talen?

De meest recente toevoeging aan onze set van ondersteunde talen is Russisch. Dit is een Slavische taal en is vrij verschillend van andere Indo-Europese talen. In dit geval was het noodzakelijk om nieuwe regels in ons taalgeneratiesysteem op te nemen, zodat de uitvoer vloeiend en grammaticaal correct is. Dit is niet alleen een taalprobleem. Het is ook een software-ontwikkelingsprobleem. Wanneer de uitvoer van ons systeem in de moedertaal van de ontwikkelaar is, is het relatief eenvoudig om fouten te detecteren en te verifiëren dat alles correct werkt. Echter, wanneer we werken aan Russisch of Japans, kunnen we onzin produceren en hebben we geen idee. Het is belangrijk om een native speaker nauw betrokken te hebben bij het kwaliteitscontroleproces.

Het probleem is niet alleen met vreemde talen. Er zijn enkele interessante regionale verschillen ook. Bijvoorbeeld, Engels heeft spellingvarianten voor de VS, het VK, Australië, Canada, enz. Bovendien zijn er grammaticale verschillen. In het Britse Engels “heb je een kijk”, terwijl in het Amerikaanse Engels “neem je een kijk”. De betekenis van woorden kan ook variëren van plaats tot plaats. Een “rubber” is een gum in het VK, maar een condoom in Noord-Amerika! Om NLG-systemen te gebruiken voor bedrijfsapplicaties, moeten ze al deze nuances hanteren.

Kunt u ook enkele details delen over hoe deep learning wordt gebruikt in Phrasee?

Er zijn 2 belangrijke AI-componenten in de technologie van Phrasee. De eerste is Natural Language Generation (NLG), die daadwerkelijk taal produceert. De tweede is deep learning, en de focus ligt hier op prestaties. Prestaties kunnen verschillende dingen betekenen, afhankelijk van de context. Bijvoorbeeld, het doel van een e-mailonderwerp is om de ontvanger te verleiden om de e-mail te openen en de inhoud te zien. Voor Facebook (META ) kan het doel zijn om likes of shares te maximaliseren. Gegeven grote hoeveelheden historische gegevens, is het mogelijk om subtiele trends en patronen te vinden die nooit door een mens zouden worden opgemerkt. Dit is een standaard machine learning-probleem.

Deep learning biedt enkele voordelen ten opzichte van de traditionele machine learning-benadering. Met traditionele machine learning is er een sterke focus op “feature engineering”. Dit betekent dat de ontwikkelaar moet beslissen welke functies van de taal het belangrijkst zijn. bijv. woorden, lengte, emoji-gebruik, enz. Het probleem is dat dit beperkt is door de vaardigheid en verbeelding van de ingenieur. Echter, met deep learning wordt de ruwe tekst in het model ingevoerd, en het bouwt zijn eigen machine-representatie van taal (dit wordt end-to-end learning genoemd). Daarom is het vrij van menselijke vooroordelen en is het een krachtige benadering. Echter, het nadeel is dat het moeilijk kan zijn om te begrijpen waarom het model zich zo gedraagt. “Verklaarbaarheid” is een actief onderzoeksgebied binnen de deep learning-gemeenschap. Echter, er is een fundamentele trade-off tussen de complexiteit van een systeem en onze mogelijkheid om het te begrijpen. Menselijke taal is rommelig, dus succesvolle NLP-oplossingen hebben typisch een hoge mate van complexiteit.

Een van de functionaliteiten van Phrasee is de mogelijkheid om in een unieke toon van een merk te schrijven, kunt u dit toelichten?

Wanneer we een nieuwe klant aannemen, verzamelen we eerst informatie over de stijl van communicatie van hun merk. Dit omvat alle formele merkrichtlijnen, historische marketingcampagnes en een reeks vragenlijsten die we voor dit doel hebben ontwikkeld. Alle deze informatie wordt gebruikt door een in-house team van taaltechnici om een klant-specifiek “taalmodel” te bouwen. Onze taalmodellen zijn generatief, wat betekent dat ze in staat zijn om nooit eerder gezien taal te produceren in de unieke stijl van een klant.

Taalmodellen kunnen op elk moment worden bijgewerkt. Bijvoorbeeld, op dit moment zijn we op het hoogtepunt van de COVID-19-crisis. Ons taalteam bekijkt onze modellen om ervoor te zorgen dat ongepaste taal niet kan worden gegenereerd. Een zin als “Deze deals gaan viraal!” zou een paar maanden geleden onschuldig zijn geweest, maar is duidelijk ongepast in het midden van een wereldwijde pandemie. Dit demonstreert de flexibiliteit van ons systeem.

Wat voor soort gegevens heeft een bedrijf nodig dat wil beginnen met Phrasee?

Eerlijk gezegd, niet veel gegevens zijn nodig om te beginnen met ons. De eerste stap is om een geschikt projectgebied te identificeren. Bijvoorbeeld, dit kan de onderwerpen van wekelijkse promotie-e-mails zijn. Ideaal gezien, zal dit een relatief grote doelgroep hebben en regelmatige communicatie. Zodra het project is geïdentificeerd, hebben we informatie nodig over het beoogde onderwerp en de merkstem om het taalmodel te bouwen. Phrasee heeft prestatieresultaten nodig op een continue basis. Aangezien onze oplossing machine learning gebruikt, is het belangrijk dat we belangrijke metrics meten en volgen over tijd. Deze informatie wordt teruggevoerd in ons systeem, zodat het continu kan worden geoptimaliseerd voor betrokkenheid.

Is er nog iets anders dat u zou willen delen over Phrasee?

Toen Parry, Victoria en ik Phrasee vijf jaar geleden startten, waren we er zeker van dat het slechts een kwestie van tijd zou zijn voordat veel andere startups met soortgelijke producten zouden verschijnen. Ons plan was om een voorsprong te krijgen op de concurrentie en één stap voor te blijven. Echter, we zijn verbaasd over het gebrek aan deelnemers aan deze ruimte. Waar is iedereen anders? Ik denk dat er een paar redenen voor zijn, maar een van de belangrijkste is dat taal zo’n moeilijk probleem is. Ik vermoed dat anderen hebben geprobeerd om soortgelijke producten te maken, maar vroeg in de R&D-fase zijn mislukt. Dit is een getuigenis van hoe uniek onze technologie is.

Bedankt voor het informatieve interview over Natural Language Processing, Natural Language Generation en Deep Learning. Bezoekers kunnen meer te weten komen over Phrasee op Phrasee.