Dr. Neil Yager, spoluzakladatel a hlavní vědec společnosti Phrasee – rozhovor

Dr. Neil Yager je hlavní vědec společnosti Phrasee a architekt metody Phrasee, nástroje pro automatické generování marketingového textu s využitím umělé inteligence, který pomohl optimalizovat marketingový text pro některé z nejznámějších značek na světě, včetně eBay, Groupon a Virgin – a mnoha dalších, od Austrálie po Ameriku, v přes 20 jazycích, od angličtiny po japonštinu.

Dr. Yager napsal přes tucet akademických publikací, napsal knihu o dolování dat a drží několik patentů. Jako jeden z předních odborníků na světě v oblasti komercializace umělé inteligence má doktorát z počítačových věd na University of New South Wales v Austrálii.

Jste 20letým veteránem technologického průmyslu, co byly některé z vašich předchozích rolí souvisejících s umělou inteligencí?

Již od svého doktorátu v polovině roku 2000 se zabývám prací související s umělou inteligencí. Nicméně, toto odvětví prošlo několika přejmenováním od té doby. Například před 15 lety jsem studoval “statistickou rozpoznávání vzorů”. O několik let později se toto více běžně nazývalo “strojové učení”, což je mnohem lákavější název. Nedávno se strojové učení (a “hluboké učení” zejména) stalo synonymem pro “umělou inteligenci” obecně. Mám smíšené pocity ohledně toho. Na jedné straně mě práce s Phrasee naučila důležitost brandingové strategie. Na druhé straně, termín “umělá inteligence” přináší s sebou bagáž a může vést k mýlkám o technologii. Zajímalo by mě, kde bychom byli, kdybychom všichni stále nazývali “statistickým rozpoznáváním vzorů”.

Většina mé předchozí práce byla v oblastech zpracování signálů a počítačového vidění. Neměl jsem mnoho zkušeností s přírodním jazykovým zpracováním před Phrasee. Od té doby jsem se naučil, že jazyk je pravděpodobně nejobtížnější problém v oblasti umělé inteligence.

V roce 2008 jste napsal knihu s názvem ‘Biometrický systém a analýza dat: návrh, hodnocení a dolování dat‘, která spojuje aspekty statistiky a strojového učení, aby poskytovala komplexní průvodce hodnocením, interpretací a pochopením biometrických dat. Kromě větších výpočetních zdrojů, věříte, že toto odvětví se vyvinulo od té doby, co byla kniha publikována? Můžete popsat, jak?

Hluboké učení výrazně ovlivnilo oblasti počítačového vidění, jazykového zpracování a strojového učení od té doby, co jsem napsal tu knihu. Bylo by nemožné napsat tu knihu dnes bez kapitoly o hlubokém učení.

Revoluce hlubokého učení skutečně začala v roce 2012, kdy model hlubokého učení vyhrál soutěž nazvanou ImageNet. ImageNet je dataset vizuálního rozpoznávání objektů, kde počítač určuje, co je na obrázku (například “pes” nebo “balón”). Během desetiletí výzkumníci dosahovali postupných zlepšení na referenčních datech. Každá pod oblast fungovala nezávisle a silně závisela na odborných znalostech. Téměř přes noc všechny modely, které byly pečlivě postaveny po mnoho let, byly učiněny zastaralými. Algoritmy hlubokého učení navržené outsiderem vyhrály soutěže o významné marže. To transformovalo odvětví umělé inteligence.

Odvětví se stále rychle vyvíjí a změnilo se i od založení Phrasee před několika lety. Například nástroje hlubokého učení, na kterých nyní závisíme, neexistovaly, když jsme založili společnost. Rychlost inovace přináší své vlastní výzvy.

Můžete sdílet s námi, co je Phrasee schopno udělat pro podniky?

Phrasee řeší dva problémy pro podniky. První je problém psaní marketingového textu. Existuje více reklamních kanálů než kdykoli předtím (například e-mail, AdWords, sociální sítě, tisk, podcasty atd.). Je obtížné psát texty pro všechny tyto kanály, které jsou vysoké kvality a odpovídají stylu a tónu značky. Phrasee řeší problém rozsahu automatickým generováním textu. Druhý je to, že je důležité, aby veškerý používaný jazyk byl efektivní. Phrasee nejen generuje jazyk, ale také používá strojové učení k předpovědi dopadu sdělení a optimalizaci.

Co vás přitáhlo k myšlence použití přírodního jazykového zpracování (NLP) a hlubokého učení ke zlepšení síly reklamního textu?

Používání umělé inteligence k maximalizaci dopadu digitálních marketingových kampaní není nová myšlenka. Existují týmy lidí s doktoráty z fyziky, kteří byli najati, aby pracovali na optimalizaci reklam. Nicméně, ve většině případů se soustředí na věci, jako je segmentace publika, personalizace, načasování dodání, umístění reklam, fonty atd. Když jsme poprvé házeli nápady pro Phrasee, všimli jsme si, že téměř všechna reklama je optimalizována, kromě samotného jazyka, který se používá! Identifikovali jsme to jako mezeru na trhu a obrovskou příležitost.

Phrasee je schopno zlepšit marketingový text v přes 20 jazycích, včetně japonštiny. Můžete diskutovat o některých jedinečných problémech přírodního jazykového zpracování, se kterými se setkáváte u cizích jazyků?

Nejnovější přidání do našeho souboru podporovaných jazyků je ruština. Jedná se o slovanský jazyk a je poměrně odlišný od ostatních indoevropských jazyků. V tomto případě bylo nutné postavit nové pravidla do našeho systému generování jazyka, aby výstup byl plynulý a gramaticky správný. To není jen jazykový problém. Je to také problém softwarového vývoje. Když je výstup našeho systému v rodném jazyce vývojáře, je relativně snadné najít chyby a ověřit, zda vše funguje správně. Nicméně, když pracujeme na ruštině nebo japonštině, mohli bychom produkovat nesmysl a neměli bychom o tom žádnou představu. Je důležité mít rodilého mluvčího, který je úzce zapojen do procesu QA.

Problém není pouze s cizími jazyky. Existují některé zajímavé regionální rozdíly. Například angličtina má pravopisné variace pro USA, Spojené království, Austrálii, Kanadu atd. Kromě toho existují gramatické rozdíly. V britské angličtině “se podíváte”, zatímco v americké angličtině “vezmete si pohled”. Význam slov se může lišit z místa na místo. “Guma” je guma v UK, ale kondom v Severní Americe! Aby systémy NLG mohly být použity pro obchodní aplikace, musí zvládnout všechny tyto nuance.

Můžete také sdílet některé podrobnosti o tom, jak je hluboké učení používáno v Phrasee?

Existují 2 hlavní komponenty umělé inteligence v technologii Phrasee. První je přírodní jazykové generování (NLG), které skutečně produkuje jazyk. Druhý je hluboké učení a zaměření se zde je na výkon. Výkon může znamenat různé věci v závislosti na kontextu. Například cílem e-mailového předmětu je přilákat příjemce k otevření e-mailu a zobrazení obsahu uvnitř. Pro Facebook (META ) může být cílem maximalizovat počet líbí nebo sdílení. Díky velkým objemům historických dat je možné najít jemné trendy a vzorce, které by člověk nikdy nepostřehl. To je standardní problém strojového učení.

Hluboké učení nabízí několik výhod oproti tradičnímu přístupu strojového učení. S tradičním strojovým učením je silný důraz na “inženýrství funkcí”. To znamená, že vývojář musí rozhodnout, co jsou podle něj nejdůležitější funkce jazyka. Například slova, délka, použití emoji atd. Problém je, že je to omezeno dovednostmi a představivostí inženýra. S hlubokým učením je však surový text vložen do modelu a ten si sám vytváří strojovou reprezentaci jazyka (to se nazývá učení od konce ke konci). Proto je to volné od lidských předsudků a je to mocný přístup. Nicméně, nevýhodou je, že může být obtížné pochopit, proč se model chová určitým způsobem. “Vysvětlitelnost” je aktivní oblastí výzkumu v komunitě hlubokého učení. Nicméně, existuje základní kompromis mezi složitostí systému a naší schopností ho pochopit. Lidský jazyk je zmatečný, takže úspěšné řešení NLP obvykle má vysokou míru složitosti.

Jedna z funkcí Phrasee je schopnost psát v jedinečném tónu značky, můžete vysvětlit, jak se to provádí?

Když podepisujeme nového zákazníka, první věc, kterou děláme, je shromáždit informace o stylu komunikace značky. To zahrnuje jakékoli formální pokyny pro značku, historické marketingové kampaně a řadu dotazníků, které jsme vyvinuli pro tento účel. Všechny tyto informace se používají našim interním týmem jazykových techniků k vytvoření zákaznického specifického “jazykového modelu”. Naše jazykové modely jsou generativní, což znamená, že jsou schopny produkovat dříve neviděný jazyk v jedinečném stylu zákazníka.

Jazykové modely lze aktualizovat kdykoli. Například v současné době jsme na vrcholu krize COVID-19. Náš jazykový tým přezkoumává naše modely, aby se ujistil, že nelze vytvořit nevhodný jazyk. Věta, jako je “Tyto nabídky jsou velmi virální!” by byla před několika měsíci neškodná, ale je jasně nevhodná uprostřed globální pandemie. To demonstruje flexibilitu našeho systému.

Jaký typ dat je potřebný pro společnost, která chce začít s Phrasee?

Upřímně řečeno, není potřeba mnoho dat, aby se začalo s námi. První krok je identifikovat vhodnou oblast projektu. Například to může být předmět e-mailových zpráv pro týdenní propagaci. Ideálně by to mělo mít relativně velkou publikum a komunikace by měly být pravidelné. Jakmile je projekt identifikován, potřebujeme informace o zamýšleném tématu a hlasu značky, abychom mohli postavit jazykový model. Phrasee potřebuje výsledky výkonu na pokračující bázi. Protože naše řešení používá strojové učení, je důležité, abychom měřili a sledovali klíčové metriky v průběhu času. Tyto informace se vkládají zpět do našeho systému, aby mohl neustále optimalizovat pro zapojení.

Je něco jiného, co byste rádi sdíleli o Phrasee?

Když Parry, Victoria a já založili Phrasee před pěti lety, byli jsme si jisti, že to bude jen otázka času, než se objeví spousta dalších startupů s podobnými produkty. Naším plánem bylo získat náskok před konkurencí a zůstat o krok před nimi. Nicméně, byli jsme překvapeni nedostatkem účastníků v tomto prostoru. Kde je všichni ostatní? Domnívám se, že existuje několik důvodů pro to, ale jedním z hlavních důvodů je, že jazyk je tak obtížný problém. Domnívám se, že jiní se pokusili vytvořit podobné produkty, ale selhali v raných fázích výzkumu a vývoje. To je svědectvím o tom, jak je naše technologie jedinečná.

Děkuji za informativní rozhovor o přírodním jazykovém zpracování, generování přírodního jazyka a hlubokém učení. Pro více informací mohou návštěvníci navštívit Phrasee.