Dr. Neil Yager, współzałożyciel i główny naukowiec Phrasee – seria wywiadów

Dr. Neil Yager jest głównym naukowcem Phrasee, oraz architektem metody Phrasee, narzędzia do copywritingu wykorzystującego sztuczną inteligencję, które pomogło zoptymalizować treści marketingowe dla niektórych z najbardziej rozpoznawalnych marek na świecie, w tym eBay, Groupon i Virgin – oraz wielu innych, od Australii do Ameryki, w ponad 20 językach, od angielskiego do japońskiego.

Dr. Yager opublikował ponad tuzin prac naukowych, napisał książkę na temat wydobywania danych, oraz posiada kilka patentów. Jako jeden z czołowych ekspertów na świecie w dziedzinie komercjalizacji sztucznej inteligencji, posiada tytuł doktora nauk komputerowych na Uniwersytecie Nowej Południowej Walii w Australii.

Jesteś 20-letnim weteranem branży technologicznej, jakie były Twoje poprzednie role związane z AI?

Byłem zaangażowany w prace związane z AI od czasu mojego doktoratu w połowie 2000 roku. Jednakże, ta dziedzina przeszła przez kilka przebrandowania od tego czasu. Na przykład, 15 lat temu studiowałem “rozpoznawanie wzorców statystycznych”. Kilka lat później było to bardziej znane jako “uczenie maszynowe”, co jest o wiele bardziej przyciągające uwagę. Ostatnio, uczenie maszynowe (a w szczególności “głębokie uczenie”) stało się synonimem “sztucznej inteligencji” w ogóle. Mam mieszane uczucia w tej sprawie. Z jednej strony, moja praca z Phrasee nauczyła mnie znaczenia branding’u. Z drugiej strony, termin “sztuczna inteligencja” niesie ze sobą bagaż i może prowadzić do nieporozumień dotyczących technologii. Ciekawe, gdzie bylibyśmy, gdybyśmy nadal nazywali to “rozpoznawaniem wzorców statystycznych”.

Większość mojej poprzedniej pracy była związana z przetwarzaniem sygnałów i widzeniem komputerowym. Nie miałem zbyt wielkiego kontaktu z przetwarzaniem języka naturalnego przed Phrasee. Od tego czasu nauczyłem się, że język jest prawdopodobnie najtrudniejszym problemem w AI.

W 2008 roku współnapisałeś książkę pt. ‘Biometric System and Data Analysis: Design, Evaluation, and Data Mining‘, która łączy aspekty statystyki i uczenia maszynowego, aby zapewnić kompleksowy przewodnik po ocenianiu, interpretowaniu i rozumieniu danych biometrycznych. Poza większymi zasobami obliczeniowymi, uważasz, że ta dziedzina ewoluowała od czasu publikacji tej książki? Czy mógłbyś opisać, jak?

Głębokie uczenie maszynowe rewolucjonizowało dziedziny widzenia komputerowego, przetwarzania języka i uczenia maszynowego od czasu napisania tej książki. Nie byłoby możliwe napisanie tej książki dzisiaj bez rozdziału o głębokim uczeniu.

Rewolucja głębokiego uczenia maszynowego rozpoczęła się w 2012 roku, kiedy model głębokiego uczenia maszynowego wygrał konkurs zwanym ImageNet. ImageNet to jest zestaw danych rozpoznawania obiektów wizualnych, w którym komputer określa, co jest na zdjęciu (np. “pies” lub “balon”). Przez dziesięciolecia badacze robili stopniowe postępy w benchmarkowych zestawach danych. Każda dziedzina działała niezależnie i opierała się silnie na specjalistycznej wiedzy. Prawie z dnia na dzień, wszystkie modele starannie zbudowane przez lata zostały zdezaktualizowane. Algorytmy głębokiego uczenia maszynowego zaprojektowane przez osoby spoza branży wygrywały konkursy o znaczne marginesy. To przekształciło przemysł AI.

Dziedzina jest nadal dynamiczna i ewoluowała nawet od czasu założenia Phrasee kilka lat temu. Na przykład, narzędzia głębokiego uczenia maszynowego, których teraz używamy, nie istniały, kiedy założyliśmy firmę. Tempo innowacji niesie ze sobą własne wyzwania.

Czy mógłbyś podzielić się z nami tym, co Phrasee może zrobić dla firm?

Phrasee rozwiązuje dwa problemy dla firm. Po pierwsze, jest problemem pisania kopii marketingowej. Jest więcej kanałów reklamowych niż kiedykolwiek wcześniej (np. e-mail, AdWords, media społecznościowe, druk, podcasty itp.). Trudno napisać kopie, które są wysokiej jakości i odpowiadają stylowi i tonowi marki. Phrasee rozwiązuje problem skali, automatycznie generując kopie. Po drugie, ważne jest, aby wszystkie używane języki były skuteczne. Nie tylko Phrasee generuje język, ale także używa uczenia maszynowego, aby przewidzieć wpływ komunikatu i zoptymalizować go odpowiednio.

Co skłoniło Cię do zainteresowania się używaniem Przetwarzania Języka Naturalnego (NLP) i Głębokiego Uczenia, aby poprawić moc kopii reklamowych?

Używanie AI do maksymalizacji wpływu kampanii marketingowych w środowisku cyfrowym nie jest nowym pomysłem. Są zespoły ludzi z doktoratami z fizyki, którzy zostali zatrudnieni do pracy nad optymalizacją reklam. Jednakże, w większości przypadków koncentrują się oni na takich rzeczach, jak segmentacja publiczności, personalizacja, czas dostarczania, umieszczanie reklam, czcionki itp. Kiedy myśleliśmy o pomysłach dla Phrasee, zauważyliśmy, że prawie wszystko w reklamach jest optymalizowane, z wyjątkiem samego języka, który jest używany! Zidentyfikowaliśmy to jako lukę na rynku i ogromną okazję.

Phrasee jest w stanie poprawić kopie marketingowe w ponad 20 językach, w tym japońskim. Czy mógłbyś omówić niektóre unikalne problemy związane z Przetwarzaniem Języka Naturalnego, które występują w językach obcych?

Najnowszym dodaniem do naszego zestawu obsługiwanych języków jest rosyjski. Jest to język słowiański i jest dość odrębny od innych języków indoeuropejskich. W tym przypadku było konieczne wprowadzenie nowych reguł do naszego systemu generowania języka, aby wyjście było płynne i gramatycznie poprawne. To nie jest tylko kwestia języka. Jest to również kwestia rozwoju oprogramowania. Kiedy wyjście naszego systemu jest w języku rodzimym programisty, jest dość łatwo zauważyć błędy i sprawdzić, czy wszystko działa poprawnie. Jednakże, kiedy pracujemy nad rosyjskim lub japońskim, możemy wyprowadzać nonsens i nie mieć pojęcia. Ważne jest, aby mieć osobę rodzimą językowo zaangażowaną w proces QA.

Wyzwanie nie jest tylko związane z językami obcymi. Są również interesujące różnice regionalne. Na przykład, angielski ma warianty ortograficzne dla USA, Wielkiej Brytanii, Australii, Kanady itp. Ponadto, są różnice gramatyczne. W brytyjskim angielskim “have a look”, podczas gdy w amerykańskim angielskim “take a look”. Znaczenie słów może się również różnić w zależności od miejsca. “Rubber” to jest gumka w Wielkiej Brytanii, ale prezerwatywa w Ameryce Północnej! Aby systemy NLG mogły być używane w aplikacjach biznesowych, muszą one radzić sobie z tymi subtelnościami.

Czy mógłbyś również podzielić się niektórymi szczegółami na temat tego, jak głębokie uczenie maszynowe jest używane w Phrasee?

Istnieją 2 główne komponenty AI w technologii Phrasee. Pierwszym jest Generowanie Języka Naturalnego (NLG), które faktycznie wytwarza język. Drugim jest głębokie uczenie maszynowe, a tu koncentrujemy się na wydajności. Wydajność może oznaczać różne rzeczy w zależności od kontekstu. Na przykład, celem nagłówka e-maila jest zachęcenie odbiorcy do otwarcia e-maila i zobaczenia zawartości w środku. Dla Facebooka celem może być maksymalizacja polubień lub udostępnień. Dane historyczne pozwalają na znalezienie subtelnych trendów i wzorców, które nigdy nie zostałyby zauważone przez człowieka. To jest standardowy problem uczenia maszynowego.

Głębokie uczenie maszynowe oferuje kilka zalet w porównaniu z tradycyjnym podejściem uczenia maszynowego. Z tradycyjnym uczeniem maszynowym jest silny nacisk na “inżynierię cech”. Oznacza to, że deweloper musi zdecydować, co uważa za najważniejsze cechy języka. np. słowa, długość, użycie emotikonów itp. Problem polega na tym, że jest to ograniczone przez umiejętności i wyobraźnię inżyniera. Z głębokim uczeniem maszynowym surowy tekst jest wprowadzany do modelu, a on buduje własną maszynową reprezentację języka (znane jako uczenie końcowe). Dlatego jest to wolne od ludzkiego uprzedzenia i jest to potężne podejście. Jednakże, wadą jest to, że może być trudno zrozumieć, dlaczego model zachowuje się w taki sposób. “Wyjaśnialność” jest aktywnym obszarem badań w społeczności głębokiego uczenia maszynowego. Jednakże, istnieje fundamentalna wymiana między złożonością systemu a naszą zdolnością do zrozumienia go. Język ludzki jest niechlujny, więc udane rozwiązania NLP zazwyczaj mają wysoki stopień złożoności.

Jedną z funkcjonalności Phrasee jest możliwość pisania w unikalnym tonie marki, czy mógłbyś wyjaśnić, jak to jest wykonywane?

Kiedy podpisujemy nowego klienta, pierwszą rzeczą, którą robimy, jest zebranie informacji o stylu komunikacji marki. Obejmuje to wszelkie formalne wytyczne marki, historyczne kampanie marketingowe oraz serię kwestionariuszy, które opracowaliśmy do tego celu. Wszystkie te informacje są używane przez nasz zespół językowy, aby zbudować model językowy specyficzny dla klienta. Nasze modele językowe są generatywne, co oznacza, że mogą one wytwarzać nowy, nigdy wcześniej niewidziany język w stylu klienta.

Modele językowe mogą być aktualizowane w dowolnym momencie. Na przykład, w tym momencie jesteśmy na szczycie kryzysu COVID-19. Nasz zespół językowy przegląda nasze modele, aby upewnić się, że nie można utworzyć nieodpowiedniego języka. Zdanie takie jak “Te oferty są wirusowe!” mogło być nieszkodliwe kilka miesięcy temu, ale jest zupełnie niewłaściwe w środku globalnej pandemii. To pokazuje elastyczność naszego systemu.

Jaki rodzaj danych jest potrzebny firmie, która chce rozpocząć pracę z Phrasee?

Szczero, nie potrzeba wiele danych, aby rozpocząć pracę z nami. Pierwszym krokiem jest zidentyfikowanie odpowiedniego obszaru projektu. Na przykład, mogą to być nagłówki e-maili promocyjnych. Idealnie, powinno to mieć dość dużą publiczność i komunikację będzie regularna. Kiedy projekt zostanie zidentyfikowany, potrzebujemy informacji o zamierzonym temacie i głosie marki, aby zbudować model językowy. Phrasee potrzebuje wyników wydajności na bieżąco. Ponieważ nasze rozwiązanie wykorzystuje uczenie maszynowe, ważne jest, abyśmy mieli możliwość mierzyć i śledzić kluczowe wskaźniki na przestrzeni czasu. Te informacje są wprowadzane z powrotem do naszego systemu, aby mógł on stale optymalizować zaangażowanie.

Czy jest coś jeszcze, co chciałbyś podzielić się o Phrasee?

Kiedy Parry, Victoria i ja założyliśmy Phrasee pięć lat temu, byliśmy pewni, że to tylko kwestia czasu, zanim wiele innych startupów pojawi się z podobnymi produktami. Nasz plan był taki, aby wyprzedzić konkurencję i pozostać o krok ahead. Jednakże, byliśmy zaskoczeni brakiem nowych firm w tym obszarze. Gdzie jest wszyscy inni? Uważam, że jest kilka powodów, ale jeden z głównych to to, że język jest tak trudnym problemem. Podejrzewam, że inni próbowali stworzyć podobne produkty, ale nie powiodło się na wczesnym etapie badań i rozwoju. To świadczy o unikalności naszej technologii.

Dziękujemy za informacyjny wywiad na temat Przetwarzania Języka Naturalnego, Generowania Języka Naturalnego i Głębokiego Uczenia. Aby dowiedzieć się więcej, odwiedź Phrasee.