Dr. Neil Yager, spoluzakladatel a hlavní vědec Phrasee – rozhovorová série

Dr. Neil Yager je hlavní vědec společnosti Phrasee, a architekt metody Phrasee, nástroje pro copywriting poháněného umělou inteligencí, který pomohl optimalizovat marketingový obsah pro některé z nejuznávanějších značek na světě, včetně eBay, Groupon a Virgin – a mnoha dalších, od Austrálie po Ameriku, v přes 20 jazycích, od angličtiny po japonštinu.

Dr. Yager napsal přes tucet akademických publikací, publikoval knihu o dolování dat, a drží několik patentů. Jako jeden z předních odborníků na světě v komercializaci umělé inteligence, získal doktorát z počítačových věd na University of New South Wales v Austrálii.

Jste 20letým veteránem technologického průmyslu, co byly některé z vašich předchozích rolí souvisejících s umělou inteligencí?

Byl jsem zapojen do prací souvisejících s umělou inteligencí od svého doktorátu v polovině roku 2000. Nicméně, od té doby toto odvětví prošlo několika přejmenováními. Například před 15 lety jsem studoval “statistickou rozpoznávání vzorů”. O několik let později se toto stalo známějším jako “strojové učení”, což je mnohem lákavější název. Nedávno se strojové učení (a “hluboké učení” zejména) stalo synonymem pro “umělou inteligenci” obecně. Mám smíšené pocity ohledně toho. Na jedné straně mě moje práce s Phrasee naučila důležitosti značky. Na druhé straně, termín “umělá inteligence” přináší s sebou bagáž a může vést k mýlkám o technologii. Zatímco se ptám, kam bychom byli, kdybychom všichni stále nazývali “statistickou rozpoznávání vzorů”.

Většina mé předchozí práce byla v oblastech zpracování signálů a počítačového vidění. Neměl jsem mnoho zkušeností s přírodním jazykovým zpracováním před Phrasee. Naučil jsem se, že jazyk je pravděpodobně nejobtížnější problém v oblasti umělé inteligence.

V roce 2008 jste spoluautorem knihy ‘Biometrický systém a analýza dat: návrh, hodnocení a dolování dat’, která spojuje aspekty statistiky a strojového učení, aby poskytovala komplexní průvodce pro hodnocení, interpretaci a pochopení biometrických dat. Mimo dalších výpočetních zdrojů, věříte, že toto odvětví prošlo vývojem od publikování této knihy? Můžete popsat, jak?

Hluboké učení výrazně ovlivnilo oblasti počítačového vidění, jazykového zpracování a strojového učení od doby, kdy jsem napsal tuto knihu. Bylo by nemožné napsat tuto knihu dnes bez části o hlubokém učení.

Revoluce hlubokého učení skutečně začala v roce 2012, kdy model hlubokého učení vyhrál soutěž nazvanou ImageNet. ImageNet je dataset vizuálního rozpoznávání objektů, kde počítač určuje, co je na obrázku (například “pes” nebo “balón”). Během desetiletí výzkumníci dosahovali postupných úspěchů na referenčních datech jako tomto. Každá suboblast operovala nezávisle a silně závisela na odborných znalostech z dané oblasti. Téměř přes noc všechny modely, které byly pečlivě postaveny během mnoha let, se staly zastaralými. Algoritmy hlubokého učení navržené outsiderem vyhrály soutěže o značné rozpětí. To transformovalo odvětví umělé inteligence.

Toto odvětví je stále velmi dynamické a prošlo vývojem, dokonce i od založení Phrasee před několika lety. Například nástroje hlubokého učení, které nyní používáme, neexistovaly, když jsme založili společnost. Rychlost inovací přináší své vlastní výzvy.

Můžete sdílet s námi, co je to, co Phrasee dokáže udělat pro podniky?

Phrasee řeší dva problémy pro podniky. První je problém psaní marketingového obsahu. Existuje více reklamních kanálů než kdykoli předtím (například e-mail, AdWords, sociální sítě, tisk, podcasty atd.). Je obtížné psát kopie pro všechny tyto kanály, které jsou vysoké kvality a odpovídají stylu a tónu značky. Phrasee řeší problém rozsahu automatickým generováním kopie. Druhým je to, že je důležité, aby byl veškerý používaný jazyk efektivní. Phrasee nejen generuje jazyk, ale také používá strojové učení, aby předpovídalo dopad sdělení a optimalizovalo podle toho.

Co vás přitáhlo k myšlence použití přírodního jazykového zpracování a hlubokého učení ke zlepšení síly reklamního obsahu?

Použití umělé inteligence ke maximalizaci dopadu digitálních marketingových kampaní není nová myšlenka. Existují týmy lidí s doktorátem z fyziky, kteří byli najati, aby pracovali na optimalizaci reklamy. Nicméně, ve většině případů se soustředí na věci, jako je segmentace publika, personalizace, načasování doručování, umístění reklamy, fonty atd. Když jsme poprvé začali diskutovat o nápadech pro Phrasee, všimli jsme si, že téměř všechna reklama je optimalizována, kromě samotného jazyka, který se používá! Identifikovali jsme tuto mezeru na trhu a obrovskou příležitost.

Phrasee je schopno zlepšit marketingový obsah v přes 20 jazycích, včetně japonštiny. Můžete diskutovat některé z jedinečných problémů přírodního jazykového zpracování, se kterými se setkáváte u cizích jazyků?

Nejnovější přídavek do našeho souboru podporovaných jazyků je ruština. Jedná se o slovanský jazyk a je bastante odlišný od ostatních indoevropských jazyků. V tomto případě bylo nutné postavit nové pravidla do našeho systému generování jazyka, aby výstup byl plynulý a gramaticky správný. Toto není jen jazykový problém. Je to také problém softwarového vývoje. Když je výstup našeho systému v rodném jazyce vývojáře, je relativně snadné identifikovat chyby a ověřit, zda vše funguje správně. Nicméně, když pracujeme na ruštině nebo japonštině, můžeme generovat nesmysl a nemáme žádnou představu. Je důležité mít rodilého mluvčího, který je úzce zapojen do procesu QA.

Výzva není pouze s cizími jazyky. Existují také zajímavé regionální rozdíly. Například angličtina má pravopisné variace pro USA, Spojené království, Austrálii, Kanadu atd. Kromě toho existují gramatické rozdíly. V britské angličtině “se podíváte”, zatímco v americké angličtině “vezmete si pohled”. Význam slov se může také lišit z místa na místo. “Guma” je guma v UK, ale kondom v Severní Americe! Aby systémy NLG mohly být použity pro obchodní aplikace, musí zvládnout všechny tyto nuance.

Můžete také sdílet některé detaily o tom, jak je hluboké učení používáno v Phrasee?

Existují 2 hlavní komponenty umělé inteligence ve technologii Phrasee. První je generování přírodního jazyka (NLG), které skutečně produkuje jazyk. Druhým je hluboké učení, a zde je zaměřeno na výkon. Výkon může znamenat různé věci v závislosti na kontextu. Například cílem e-mailového předmětu je nalákat příjemce k otevření e-mailu a prohlédnutí obsahu uvnitř. Pro Facebook může být cílem maximalizovat počet líbí nebo sdílení. Při velkém objemu historických dat je možné najít jemné trendy a vzory, které by nikdy nebyly zpozorovány člověkem. Toto je standardní problém strojového učení.

Hluboké učení nabízí několik výhod oproti tradičnímu přístupu strojového učení. S tradičním strojovým učením je silný důraz na “inženýrství funkcí”. To znamená, že vývojář musí rozhodnout, co podle něj jsou nejdůležitější funkce jazyka. Například slova, délka, použití emoji atd. Problém je, že toto je omezeno dovednostmi a představivostí inženýra. Nicméně, s hlubokým učením je syrový text krmen do modelu, a ten si vytváří svou vlastní strojovou reprezentaci jazyka (toto se nazývá učení od konce ke konci). Proto je to volné od lidského zkreslení a je to mocný přístup. Nicméně, nevýhodou je, že může být obtížné pochopit, proč se model chová určitým způsobem. “Vysvětlitelnost” je aktivní oblastí výzkumu v komunitě hlubokého učení. Nicméně, existuje základní kompromis mezi složitostí systému a naší schopností ho pochopit. Lidský jazyk je zmatečný, takže úspěšná řešení NLP typicky mají vysokou úroveň složitosti.

Jedna z funkcí Phrasee je schopnost psát v jedinečném tónu značky, můžete vysvětlit, jak se toto provádí?

Když získáváme nového zákazníka, první věc, kterou děláme, je shromáždit informace o stylu komunikace jejich značky. To zahrnuje jakékoli formální pokyny pro značku, historické marketingové kampaně a řadu dotazníků, které jsme vyvinuli pro tento účel. Všechny tyto informace se používají našim interním týmem jazykových techniků k vybudování zákaznického specifického “jazykového modelu”. Naši jazykové modely jsou generativní, což znamená, že mohou produkovat dříve neviděný jazyk ve stylu zákazníka.

Jazykové modely lze aktualizovat kdykoli. Například v současné době jsme na vrcholu krize COVID-19. Náš jazykový tým přezkoumává naše modely, aby se ujistil, že nelze vytvořit nevhodný jazyk. Věta jako “Tyto nabídky jsou virální!” by mohla být neškodná před několika měsíci, ale je jasně nevhodná uprostřed globální pandemie. Toto demonstruje flexibilitu našeho systému.

Jaký typ dat je potřebný pro společnost, která chce začít s Phrasee?

Čestně řečeno, není potřeba mnoho dat, aby se začalo s námi. První krok je identifikovat vhodnou oblast projektu. Například, toto by mohlo být předměty e-mailů pro týdenní promoční e-maily. Ideálně by toto mělo mít relativně velkou publikum a komunikace by měla být pravidelná. Jakmile je projekt identifikován, potřebujeme informace o zamýšleném tématu a brand voice, abychom mohli vybudovat jazykový model. Phrasee potřebuje výsledky výkonu na probíhající bázi. Jelikož naše řešení používá strojové učení, je důležité, abychom měřili a sledovali klíčové metriky v průběhu času. Tyto informace se zasílají zpět do našeho systému, aby mohl neustále optimalizovat pro zapojení.

Je něco jiného, co byste rádi sdíleli o Phrasee?

Když Parry, Victoria a já založili Phrasee před pěti lety, byli jsme si jisti, že to bude jen otázka času, než se objeví spousta dalších startupů s podobnými produkty. Našim plánem bylo získat náskok před konkurencí a zůstat o krok před nimi. Nicméně, byli jsme překvapeni nedostatkem účastníků v tomto prostoru. Kde je všichni ostatní? Domnívám se, že existují několik důvodů pro to, ale jeden z hlavních je, že jazyk je tak obtížný problém. Podezřívám, že jiní se pokusili vytvořit podobné produkty, ale selhali brzy ve fázi výzkumu a vývoje. Toto je důkazem toho, jak je naše technologie jedinečná.

Děkuji za informativní rozhovor o přírodním jazykovém zpracování, generování přírodního jazyka a hlubokém učení. Návštěvníci se mohou dozvědět více na Phrasee.