Dr. Neil Yager, Współzałożyciel i Główny Naukowiec Phrasee – Seria Wywiadów

Dr. Neil Yager jest Głównym Naukowcem Phrasee, oraz architektem metody Phrasee, narzędzia do copywritingu wykorzystującego sztuczną inteligencję, które pomogło zoptymalizować treści marketingowe dla niektórych z najbardziej rozpoznawalnych marek na świecie, w tym eBay, Groupon i Virgin – oraz wiele innych, od Australii do Ameryki, w ponad 20 językach, od angielskiego do japońskiego.

Dr. Yager opublikował ponad tuzin prac naukowych, napisał książkę o danych, i posiada kilka patentów. Jako jeden z czołowych ekspertów w komercjalizacji sztucznej inteligencji, posiada tytuł doktora nauk komputerowych Uniwersytetu Nowej Południowej Walii w Australii.

Jesteś 20-letnim weteranem branży technologicznej, jakie były Twoje poprzednie role związane z AI?

Zajmuję się pracą związaną z AI od czasów mojego doktoratu w połowie lat 2000. Jednakże, ta dziedzina przeszła wiele przemian od tego czasu. Na przykład, 15 lat temu studiowałem “rozpoznawanie wzorców statystycznych”. Kilka lat później było to bardziej znane jako “uczenie maszynowe”, co jest o wiele bardziej kuszącą nazwą. Ostatnio, uczenie maszynowe (a w szczególności “głębokie uczenie”) stało się synonimem “sztucznej inteligencji” w ogóle. Mam mieszane uczucia w tej sprawie. Z jednej strony, moja praca z Phrasee nauczyła mnie znaczenia marki. Z drugiej strony, termin “sztuczna inteligencja” niesie ze sobą bagaż i może prowadzić do nieporozumień na temat technologii. Ciekawe, gdzie bylibyśmy, gdybyśmy nadal nazywali to “rozpoznawaniem wzorców statystycznych”.

Większość mojej poprzedniej pracy była związana z przetwarzaniem sygnałów i widzeniem komputerowym. Nie miałem zbyt wiele doświadczenia z przetwarzaniem języka naturalnego przed Phrasee. Od tego czasu nauczyłem się, że język jest prawdopodobnie najtrudniejszym problemem w AI.

W 2008 roku współnapisałeś książkę pt. ‘Biometric System and Data Analysis: Design, Evaluation, and Data Mining’, która łączy aspekty statystyki i uczenia maszynowego, aby zapewnić kompleksowy przewodnik po ocenianiu, interpretowaniu i zrozumieniu danych biometrycznych. Czy uważasz, że ta dziedzina ewoluowała od czasu opublikowania tej książki? Czy mógłbyś opisać, jak?

Głębokie uczenie maszynowe odmieniło dziedziny widzenia komputerowego, przetwarzania języka i uczenia maszynowego od czasu napisania tej książki. Nie byłoby możliwe napisanie tej książki dzisiaj bez rozdziału o głębokim uczeniu.

Rewolucja głębokiego uczenia maszynowego naprawdę rozpoczęła się w 2012 roku, kiedy model głębokiego uczenia maszynowego wygrał konkurs ImageNet. ImageNet to jest zestaw danych rozpoznawania obiektów wizualnych, w którym komputer określa, co jest na obrazie (np. “pies” lub “balon”). Przez dziesięciolecia badacze robili stopniowe postępy w zestawach danych benchmarkowych takich jak ten. Każda poddziedzina działała niezależnie i opierała się silnie na specjalistycznej wiedzy. Prawieovernight, wszystkie modele starannie zbudowane przez wiele lat zostały zdezaktualizowane. Algorytmy głębokiego uczenia maszynowego zaprojektowane przez outsiderów wygrywały konkursy o znaczne marginesy. To przekształciło przemysł AI.

Dziedzina jest nadal dynamiczna i ewoluowała nawet od czasu założenia Phrasee kilka lat temu. Na przykład, narzędzia głębokiego uczenia maszynowego, których teraz używamy, nie istniały, kiedy założyliśmy firmę. Tempo innowacji niesie ze sobą własne wyzwania.

Czy mógłbyś podzielić się z nami tym, co Phrasee może zrobić dla firm?

Phrasee rozwiązuje dwa problemy dla firm. Po pierwsze, jest problemem pisania treści marketingowych. Istnieje więcej kanałów reklamowych niż kiedykolwiek wcześniej (np. e-mail, AdWords, media społecznościowe, druk, podcasty itp.). Trudno napisać treści, które są wysokiej jakości i odpowiadają stylowi i tonowi głosu marki. Phrasee rozwiązuje problem skali, automatycznie generując treści. Po drugie, ważne jest, aby wszystkie używane języki były skuteczne. Nie tylko Phrasee generuje język, ale także używa uczenia maszynowego, aby przewidzieć wpływ komunikacji i zoptymalizować ją odpowiednio.

Co skłoniło Cię do zainteresowania się Natural Language Processing (NLP) i Deep Learning, aby poprawić moc treści reklamowych?

Używanie AI do maksymalizacji wpływu kampanii marketingowych w środowisku cyfrowym nie jest nowym pomysłem. Istnieją zespoły ludzi z doktoratami z fizyki, którzy zostali zatrudnieni do pracy nad optymalizacją reklam. Jednakże, w większości przypadków koncentrują się oni na rzeczach takich jak segmentacja publiczności, personalizacja, czas dostarczania, umieszczanie reklam, czcionki itp. Kiedy myśleliśmy o pomysłach dla Phrasee, zauważyliśmy, że prawie wszystko w reklamach jest zoptymalizowane, z wyjątkiem samego języka używanego! Zidentyfikowaliśmy tę lukę na rynku i ogromną okazję.

Phrasee jest w stanie poprawić treści marketingowe w ponad 20 językach, w tym japońskim. Czy mógłbyś omówić niektóre unikalne problemy przetwarzania języka naturalnego, które występują w językach obcych?

Najnowszym dodatkiem do naszego zestawu obsługiwanych języków jest rosyjski. Jest to język słowiański i jest dość odrębny od innych języków indoeuropejskich. W tym przypadku było konieczne wprowadzenie nowych reguł do naszego systemu generowania języka, aby wyjście było płynne i gramatycznie poprawne. To nie jest tylko problem językowy. Jest to również problem rozwoju oprogramowania. Kiedy wyjście naszego systemu jest w języku rodzimym programisty, jest dość łatwo zauważyć błędy i potwierdzić, że wszystko działa poprawnie. Jednakże, kiedy pracujemy nad rosyjskim lub japońskim, możemy wyprowadzać nonsens i nie mieć pojęcia. Ważne jest, aby mieć rodzimego mówcę ściśle zaangażowanego w proces QA.

Wyzwanie nie jest tylko związane z językami obcymi. Istnieją również interesujące różnice regionalne. Na przykład, angielski ma warianty ortograficzne dla USA, Wielkiej Brytanii, Australii, Kanady itp. Ponadto, istnieją różnice gramatyczne. W angielskim brytyjskim “have a look”, podczas gdy w amerykańskim “take a look”. Znaczenie słów może się również różnić z miejsca na miejsce. “Guma” to gumka do ścierania w Wielkiej Brytanii, ale prezerwatywa w Ameryce Północnej! Aby systemy NLG mogły być używane w aplikacjach biznesowych, muszą one obsługiwać wszystkie te subtelności.

Czy mógłbyś podzielić się z nami szczegółami, jak głębokie uczenie maszynowe jest używane w Phrasee?

Istnieją dwa główne komponenty AI w technologii Phrasee. Pierwszym jest Natural Language Generation (NLG), który wytwarza język. Drugim jest głębokie uczenie maszynowe, którego celem jest wydajność. Wydajność może oznaczać różne rzeczy w zależności od kontekstu. Na przykład, celem nagłówka e-maila jest zachęcenie odbiorcy do otwarcia e-maila i zobaczenia treści wewnątrz. Dla Facebooka celem może być maksymalizacja polubień lub udostępnień. Dla dużych ilości danych historycznych jest możliwe znalezienie subtelnych trendów i wzorców, które nigdy nie zostałyby zauważone przez człowieka. To jest standardowy problem uczenia maszynowego.

Głębokie uczenie maszynowe oferuje kilka zalet w porównaniu z tradycyjnym podejściem uczenia maszynowego. Z tradycyjnym uczeniem maszynowym istnieje silny nacisk na “inżynierię cech”. Oznacza to, że deweloper musi zdecydować, które cechy języka są najważniejsze. np. słowa, długość, użycie emotikonów itp. Problem polega na tym, że jest to ograniczone przez umiejętności i wyobraźnię inżyniera. Z głębokim uczeniem maszynowym surowy tekst jest wprowadzany do modelu, a model buduje własną reprezentację języka (znane jako uczenie end-to-end). Dlatego jest on wolny od ludzkiego uprzedzenia i jest potężnym podejściem. Jednakże, wadą jest to, że może być trudno zrozumieć, dlaczego model zachowuje się w taki sposób. “Wyjaśnialność” jest aktywnym obszarem badań w społeczności głębokiego uczenia maszynowego. Jednakże, istnieje fundamentalna wymiana między złożonością systemu a naszą zdolnością do zrozumienia go. Język ludzki jest niechlujny, więc udane rozwiązania NLP mają zwykle wysoki stopień złożoności.

Jedną z funkcjonalności Phrasee jest możliwość pisania w unikalnym tonie marki, czy mógłbyś wyjaśnić, jak to jest wykonywane?

Kiedy podpisujemy nowego klienta, pierwszą rzeczą, którą robimy, jest zebranie informacji o stylu komunikacji marki. Obejmuje to wszelkie formalne wytyczne marki, historyczne kampanie marketingowe oraz serię ankiet, które opracowaliśmy do tego celu. Wszystkie te informacje są używane przez nasz zespół techniczny języka do budowy modelu językowego specyficznego dla klienta. Nasze modele językowe są generatywne, co oznacza, że mogą one wytwarzać nowy, nigdy wcześniej niewidziany język w unikalnym stylu klienta.

Modele językowe mogą być aktualizowane w dowolnym momencie. Na przykład, w tym momencie jesteśmy na szczycie kryzysu COVID-19. Nasz zespół językowy przegląda nasze modele, aby upewnić się, że nie można utworzyć nieodpowiedniego języka. Na przykład, fraza “Te oferty są wirusowe!” mogła być niewinna kilka miesięcy temu, ale jest teraz wyraźnie nieodpowiednia w środku globalnej pandemii. To pokazuje elastyczność naszego systemu.

Jaki rodzaj danych jest potrzebny firmie, która chce rozpocząć pracę z Phrasee?

Szczero, nie potrzeba wiele danych, aby rozpocząć pracę z nami. Pierwszym krokiem jest zidentyfikowanie odpowiedniego obszaru projektu. Na przykład, mogłoby to być nagłówki e-maili promocyjnych. Idealnie, powinno to mieć dość dużą publiczność i regularne komunikacje. Kiedy projekt jest zidentyfikowany, potrzebujemy informacji o zamierzonym temacie i głosie marki, aby zbudować model językowy. Phrasee potrzebuje wyników wydajności na bieżąco. Ponieważ nasze rozwiązanie używa uczenia maszynowego, ważne jest, abyśmy mieli możliwość mierzenia i śledzenia kluczowych wskaźników na przestrzeni czasu. Te informacje są wprowadzane z powrotem do naszego systemu, aby mógł on ciągle optymalizować zaangażowanie.

Czy jest coś jeszcze, co chciałbyś podzielić się o Phrasee?

Kiedy Parry, Victoria i ja założyliśmy Phrasee pięć lat temu, byliśmy pewni, że to tylko kwestia czasu, zanim wiele innych startupów pojawi się z podobnymi produktami. Nasz plan był taki, aby wyprzedzić konkurencję i pozostać o krok ahead. Jednakże, byliśmy zaskoczeni brakiem wejść na ten rynek. Gdzie jest każdy inny? Myślę, że jest kilka powodów, ale jeden z głównych to to, że język jest tak trudnym problemem. Podejrzewam, że inni próbowali stworzyć podobne produkty, ale nie powiodło się im na wczesnym etapie badań i rozwoju. To świadczy o tym, jak unikalna jest nasza technologia.

Dziękujemy za pouczający wywiad na temat Natural Language Processing, Natural Language Generation i Deep Learning. Aby dowiedzieć się więcej, odwiedź Phrasee.