Dr Neil Yager, współzałożyciel i główny naukowiec Phrase – seria wywiadów

Dr Neil Yager jest głównym naukowcem Zwroti architekt metody Phrasee, narzędzia do copywritingu opartego na sztucznej inteligencji, które pomogło zoptymalizować teksty marketingowe dla niektórych z najbardziej rozpoznawalnych marek na świecie, w tym eBay, Groupon i Virgin – a także wielu innych, od Australii po Amerykę, w ponad 20 języków, od angielskiego po japoński.

Dr Yager jest autorem kilkunastu publikacji naukowych, napisał książkę o eksploracji danychi posiada kilka patentów. Jako jeden z czołowych światowych ekspertów w zakresie komercjalizacji sztucznej inteligencji posiada tytuł doktora informatyki uzyskany na Uniwersytecie Nowej Południowej Walii w Australii.

Jesteś weteranem branży technologicznej z 20-letnim stażem. Jakie były Twoje poprzednie role związane ze sztuczną inteligencją? 

Od czasu uzyskania doktoratu w połowie 2000 roku zajmuję się pracami związanymi ze sztuczną inteligencją. Jednak od tego czasu branża przeszła kilka rebrandingów. Na przykład 15 lat temu studiowałem „rozpoznawanie wzorców statystycznych”. Kilka lat później zaczęto to szerzej nazywać „uczeniem maszynowym”, co jest znacznie bardziej urzekającą nazwą. Niedawno uczenie maszynowe (w szczególności „głębokie uczenie się”) stało się ogólnie synonimem „sztucznej inteligencji”. Mam co do tego mieszane uczucia. Z jednej strony praca z Phrasee nauczyła mnie, jak ważne jest budowanie marki. Z drugiej strony termin „sztuczna inteligencja” niesie ze sobą bagaż i może prowadzić do błędnych wyobrażeń na temat tej technologii. Zastanawiam się, gdzie byśmy byli, gdybyśmy wszyscy nadal nazywali to „rozpoznawaniem wzorców statystycznych”.

Większość mojej poprzedniej pracy dotyczyła przetwarzania sygnałów i wizji komputerowej. Przed Phrase nie miałem dużego kontaktu z przetwarzaniem języka naturalnego. Od tego czasu nauczyłem się, że język jest prawdopodobnie najtrudniejszym problemem sztucznej inteligencji.

W 2008 roku jesteś współautorem książki pt. „System biometryczny i analiza danych: projektowanie, ocena i eksploracja danych', który łączy aspekty statystyki i uczenia maszynowego, tworząc kompleksowy przewodnik po ocenie, interpretacji i zrozumieniu danych biometrycznych. Czy poza większymi zasobami komputerowymi uważasz, że dziedzina ta ewoluowała od czasu publikacji tej książki? Czy mógłbyś opisać jak? 

Od czasu, gdy napisałem tę książkę, głębokie uczenie się wstrząsnęło dziedzinami widzenia komputerowego, przetwarzania języka i uczenia maszynowego. Napisanie tej książki nie byłoby dziś możliwe bez rozdziału poświęconego głębokiemu uczeniu się.

Rewolucja w zakresie głębokiego uczenia się naprawdę nabrała tempa w 2012 r., kiedy model głębokiego uczenia się wygrał konkurs o nazwie ImageNet. ImageNet to zbiór danych służący do wizualnego rozpoznawania obiektów, w którym komputer określa, co znajduje się na obrazie (np. „pies” lub „balon”). Przez dziesięciolecia badacze osiągali coraz większe korzyści w oparciu o takie zbiory danych porównawczych. Każda poddziedzina działała niezależnie i w dużym stopniu opierała się na specjalistycznej wiedzy specjalistycznej dotyczącej danej dziedziny. Niemal z dnia na dzień wszystkie modele pieczołowicie budowane przez wiele lat stały się przestarzałe. Algorytmy głębokiego uczenia się zaprojektowane przez osoby z zewnątrz wygrywały konkursy ze znaczną przewagą. To zmieniło branżę sztucznej inteligencji.

Dziedzina ta wciąż szybko się rozwija i ewoluowała od chwili założenia Phrasee zaledwie kilka lat temu. Na przykład narzędzia do głębokiego uczenia się, na których obecnie polegamy, nawet nie istniały, gdy zakładaliśmy firmę. Tempo innowacji niesie ze sobą własne wyzwania.

Czy mógłbyś podzielić się z nami tym, co Phrase może zrobić dla firm? 

Phrasee rozwiązuje dwa problemy dla biznesu. Po pierwsze, pojawia się problem napisania tekstu marketingowego. Obecnie dostępnych jest więcej kanałów reklamowych niż kiedykolwiek wcześniej (np. e-mail, AdWords, społecznościowe, drukowane, podcasty itp.). Trudno jest napisać dla tego wszystkiego tekst, który będzie wysokiej jakości i będzie zgodny ze stylem i tonem marki. Phrasee rozwiązuje problem skali poprzez automatyczne generowanie kopii. Po drugie, ważne jest, aby cały używany język był skuteczny. Phrasee nie tylko generuje język, ale także wykorzystuje uczenie maszynowe, aby przewidzieć wpływ komunikatu i odpowiednio go zoptymalizować.

Co skłoniło Cię do pomysłu wykorzystania przetwarzania języka naturalnego (NLP) i głębokiego uczenia się w celu poprawy skuteczności tekstu reklamy? 

Wykorzystanie sztucznej inteligencji do maksymalizacji wpływu cyfrowych kampanii marketingowych nie jest nowym pomysłem. Istnieją zespoły osób z doktoratem z fizyki, które zostały zrekrutowane do pracy nad optymalizacją reklam. Jednak w większości przypadków koncentrują swoje wysiłki badawczo-rozwojowe na takich kwestiach, jak segmentacja odbiorców, personalizacja, czas wyświetlania, rozmieszczenie reklam, czcionki itp. Kiedy po raz pierwszy wymienialiśmy się pomysłami na Phrase, zauważyliśmy, że prawie wszystko w reklamach jest optymalizowane, z wyjątkiem rzeczywiście używany język! Uznaliśmy to za lukę na rynku i ogromną szansę.

Phrasee jest w stanie ulepszyć teksty marketingowe w ponad 20 językach, w tym w języku japońskim. Czy mógłbyś omówić niektóre wyjątkowe problemy związane z przetwarzaniem języka naturalnego, które występują w przypadku języków obcych? 

Najnowszym dodatkiem do naszego zestawu obsługiwanych języków jest język rosyjski. Jest to język słowiański, różniący się znacznie od innych języków indoeuropejskich. W tym przypadku konieczne było wbudowanie nowych reguł w nasz system generowania języka, tak aby wynik był płynny i poprawny gramatycznie. To nie jest tylko kwestia języka. Jest to również kwestia rozwoju oprogramowania. Gdy dane wyjściowe naszego systemu są w języku ojczystym programisty, stosunkowo łatwo jest wykryć błędy i sprawdzić, czy wszystko działa poprawnie. Jednakże pracując nad językiem rosyjskim lub japońskim, moglibyśmy wyrzucać bzdury i nie mieć o tym pojęcia. Ważne jest, aby w proces kontroli jakości zaangażowany był native speaker.

Wyzwanie nie dotyczy tylko języków obcych. Istnieją również interesujące różnice regionalne. Na przykład w języku angielskim występują różnice w pisowni dla Stanów Zjednoczonych, Wielkiej Brytanii, Australii, Kanady itp. Ponadto istnieją różnice gramatyczne. W brytyjskim angielskim „spójrz”, podczas gdy w amerykańskim angielskim „spójrz”. Znaczenie słów może się również różnić w zależności od miejsca. „Gumka” to w Wielkiej Brytanii gumka, ale w Ameryce Północnej prezerwatywa! Aby systemy NLG mogły być wykorzystywane w zastosowaniach biznesowych, muszą obsługiwać wszystkie te subtelności.

Czy mógłbyś podzielić się szczegółami na temat wykorzystania głębokiego uczenia się w Phrase? 

Technologia Phrasee składa się z dwóch głównych komponentów AI. Pierwszą z nich jest generowanie języka naturalnego (NLG), które faktycznie tworzy język. Drugi to głębokie uczenie się, w którym nacisk kładziony jest na wydajność. Wydajność może oznaczać różne rzeczy w zależności od kontekstu. Na przykład celem tematu wiadomości e-mail jest zachęcenie odbiorcy do otwarcia wiadomości i zobaczenia jej zawartości. W przypadku Facebooka celem może być maksymalizacja liczby polubień lub udostępnień. Biorąc pod uwagę dużą ilość danych historycznych, można znaleźć subtelne trendy i wzorce, których człowiek nigdy nie zauważyłby. Jest to standardowy problem uczenia maszynowego.

Głębokie uczenie się ma kilka zalet w porównaniu z tradycyjnym podejściem do uczenia maszynowego. W tradycyjnym uczeniu maszynowym duży nacisk kładzie się na „inżynierię funkcji”. Oznacza to, że programista musi zdecydować, jakie według niego są najważniejsze cechy języka. np. słowa, długość, użycie emoji itp. Problem w tym, że jest to ograniczone umiejętnościami i wyobraźnią inżyniera. Jednak w przypadku głębokiego uczenia się surowy tekst jest wprowadzany do modelu, który buduje własną maszynową reprezentację języka (jest to znane jako uczenie się od końca do końca). Dlatego jest wolne od ludzkich uprzedzeń i stanowi potężne podejście. Jednak wadą jest to, że może być trudno zrozumieć, dlaczego model zachowuje się w taki, a nie inny sposób. „Wyjaśnialność” to aktywny obszar badań społeczności głębokiego uczenia się. Istnieje jednak zasadniczy kompromis pomiędzy złożonością systemu a naszą zdolnością do jego zrozumienia. Język ludzki jest chaotyczny, dlatego skuteczne rozwiązania NLP charakteryzują się zazwyczaj wysokim stopniem złożoności.

Jedną z funkcjonalności Phrasee jest możliwość pisania unikalnym tonem marki. Czy mógłbyś opisać, jak to się robi? 

Kiedy rejestrujemy nowego klienta, pierwszą rzeczą, którą robimy, jest zbieranie informacji o stylu komunikacji jego marki. Obejmuje to wszelkie formalne wytyczne dotyczące marki, historyczne kampanie marketingowe i serię kwestionariuszy, które opracowaliśmy w tym celu. Wszystkie te informacje są wykorzystywane przez wewnętrzny zespół techników językowych do zbudowania „modelu językowego” dostosowanego do potrzeb klienta. Nasze modele językowe są generatywne, co oznacza, że ​​są w stanie stworzyć niespotykany wcześniej język w unikalnym stylu klienta.

Modele językowe można aktualizować w dowolnym momencie. Na przykład w tej chwili jesteśmy w szczytowym momencie kryzysu związanego z Covid-19. Nasz zespół językowy przegląda nasze modele, aby upewnić się, że nie można utworzyć nieodpowiedniego języka. Wyrażenie takie jak „Te oferty stają się wirusowe!” mogło być nieszkodliwe kilka miesięcy temu, ale jest wyraźnie niewłaściwe w środku globalnej pandemii. To pokazuje elastyczność naszego systemu.

Jakiego rodzaju danych potrzebuje firma chcąca rozpocząć pracę z Phrase? 

Szczerze mówiąc, aby rozpocząć z nami współpracę, nie potrzeba wielu danych. Pierwszym krokiem jest określenie odpowiedniego obszaru projektu. Może to być na przykład temat cotygodniowych e-maili promocyjnych. W idealnym przypadku będzie to stosunkowo duża grupa odbiorców, a komunikacja będzie regularna. Po zidentyfikowaniu projektu potrzebujemy informacji o zamierzonej tematyce i głosie marki, aby zbudować model językowy. Phrase potrzebuje ciągłych wyników. Ponieważ nasze rozwiązanie wykorzystuje uczenie maszynowe, ważne jest, abyśmy mierzyli i śledzili kluczowe wskaźniki w czasie. Informacje te są ponownie wprowadzane do naszego systemu, dzięki czemu może on stale optymalizować pod kątem zaangażowania.

Czy jest coś jeszcze, czym chciałbyś się podzielić na temat Phrase? 

Kiedy Parry, Victoria i ja założyliśmy Phrase pięć lat temu, byliśmy pewni, że pojawienie się wielu innych startupów oferujących podobne produkty będzie tylko kwestią czasu. Naszym planem było wyprzedzić konkurencję i pozostać o krok przed nią. Zaskoczył nas jednak brak chętnych na tę przestrzeń. Gdzie są wszyscy inni? Myślę, że jest ku temu kilka powodów, ale jednym z głównych jest to, że język jest tak trudnym problemem. Podejrzewam, że inni próbowali stworzyć podobne produkty, ale ponieśli porażkę na wczesnych etapach badań i rozwoju. To dowód na wyjątkową wyjątkowość naszej technologii.

Dziękujemy za pouczający wywiad na temat przetwarzania języka naturalnego, generowania języka naturalnego i głębokiego uczenia się. Aby dowiedzieć się więcej, odwiedzający mogą odwiedzić Zwrot.