Andrea Vattani, współzałożyciel i Chief Scientist w Spiketrap – seria wywiadów

Andrea Vattani jest współzałożycielem i Chief Scientistem w Spiketrap, firmie specjalizującej się w kontekstualizacji, dostarczającej inteligencję audytoryjną i wyniki mediów dla twórców, platform i marek. Własny silnik AI Clair wyodrębnia sygnał z hałasu nieustrukturyzowanych zbiorów danych, zapewniając niezrównaną klarowność i kontekst, szczególnie w środowiskach o wysokiej prędkości online.

Czym było to, co pierwotnie przyciągnęło Cię do informatyki i sztucznej inteligencji?

Była to kombinacja szczęśliwych okoliczności. Przybyłem na Uniwersytet Rzymski, aby wziąć udział w teście wstępnym na kierunku Statystyka, i okazało się, że spóźniłem się o jeden dzień! Zostałem poinformowany, aby zamiast tego aplikować na kierunek Informatyka i przenieść się na kierunek Statystyka rok później. Poszedłem na test wstępny z Informatyki (który odbywał się tego dnia!) i go zdałem… nigdy nie przeniosłem się na kierunek Statystyka! Mój zainteresowanie sztuczną inteligencją rozpoczęło się, gdy zrozumiałem, jak komputery mogą pomóc w automatyzacji rzeczy, a sztuczna inteligencja jest ostatecznym urządzeniem do automatyzacji. Ponadto, język naturalny i sposób, w jaki ludzie go używają, zawsze mnie interesował: w liceum studiowałem klasyczne studia, ucząc się greki i łaciny, co jest prawdopodobnie podobne do tego, jak maszyna czuje, gdy jest karmiona strumieniem słów.

Wcześniej pracowałeś jako Senior Lead Software Engineer w Amazon (AMZN ) Goodreads, nad jakimi projektami pracowałeś i jakie były Twoje najważniejsze wnioski z tego doświadczenia?

Podczas pracy w Goodreads pracowałem nad wieloma projektami związanymi z uczeniem maszynowym, w tym wykrywaniem spamu i skalowaniem silnika rekomendacji książek. Moje wnioski z mojego pobytu tam były następujące: nauczyłem się, jak ważne jest definiowanie metryk uczenia maszynowych, które odpowiadają celom biznesowym i klientom. Przykład: silniki rekomendacji istnieją już bardzo długo. Pamiętasz konkurs “Netflix (NFLX ) Prize” w 2009 roku, aby znaleźć lepsze rekomendacje filmów? Niektóre spostrzeżenia z najlepszych rozwiązań sugerowały, że szansa na obejrzenie filmu nie jest tak bardzo uzależniona od tego, czy się spodoba, ale raczej od tego, czy jest podobny do Twoich zainteresowań. To może działać dla filmów, ponieważ jest to krótkie zobowiązanie trwające 90 minut, ale w przypadku książek nie jest to takie proste. Włączenie odpowiednich celów do metryk jest kluczem.

Inne spostrzeżenie, które zastosowałem w Spiketrap, to budowanie zespołów sztucznej inteligencji, które są zorientowane na dostarczanie i zintegrowane z mapą produktu, a nie izolowanym zespołem skupionym tylko na badaniach i eksploracji. To prowadzi do lepszego zdefiniowania celów, terminów i zrozumienia ROI. Prowadzi również do tego, że zespół koncentruje się na szybkości i praktyczności modelu, a nie tylko na jego dokładności. Wróćmy do przykładu konkursu Netflix: modele zwycięskich zespołów nigdy nie zostały zaimplementowane, ponieważ nie były wystarczająco praktyczne, pomimo ich poprawionej dokładności.

Twoje badania zostały opublikowane w licznych czasopismach, co Twoim zdaniem jest najważniejszym artykułem dotąd?

Podczas mojego doktoratu miałem szczęście współpracować z wieloma badaczami z różnych dziedzin, w tym z uczeniem maszynowym, “wielkimi danymi”, analizą danych społecznych i teorią gier. Artykuł, który lubię za jego prostotę i przydatność, to “Scalable K-Means++“: K-means++ jest powszechnie używaną niezależną metodą klasterowania, która dzieli zbiór danych na K spójnych grup. Robi to, dodając jedną grupę na raz, więc gdy masz wiele danych i grup, staje się to zbyt wolne. W tym artykule pokazujemy, jak można osiągnąć taką samą, jeśli nie lepszą, dokładność, paralelizując tę metodę. Nasza metodyka jest niezwykle prosta i została zaimplementowana w wielu bibliotekach uczenia maszynowego.

Czy mógłbyś opowiedzieć o historii powstania Spiketrap?

Po pracy w Goodreads, ja i współzałożyciele Spiketrap, Kieran i Virgilio, zrozumieliśmy, że w branży istnieje luka w dostępie do zaawansowanych informacji o markach z niszowych platform społecznościowych. Poprzez zastosowanie technologii sztucznej inteligencji, moglibyśmy rozwiązać ten problem w sposób wydajny.

W dzisiejszej gospodarce jest niezwykle ważne, aby firmy słuchały swoich klientów i branży jako całości. Jednak wiele z tego, co klienci mają do powiedzenia o markach, pozostaje niesłyszane. Miliony ludzi wyrażają swoje opinie otwarcie każdego dnia, na platformach takich jak Twitter, Reddit, Twitch i innych. Jest to niezwykle cenne źródło informacji dla każdego badacza rynku, pod warunkiem, że treść może być kontekstualizowana na dużą skalę. Problem polega na tym, że branża badań rynku nie nadąża za ewoluującymi zachowaniami cyfrowymi i językiem.

Narzędzia do słuchania pozostają uzależnione od słów kluczowych i wyszukiwań boolean, pomijając wiele rozmów, które mogłyby i powinny być przypisane do określonej marki. Tymczasem firmy badawcze rynku są coraz bardziej zahamowane przez trudne zadanie ustalenia jakościowych spostrzeżeń z ilościowych i ograniczonych metodologicznie podejść.

W skrócie, ludzie nie mają narzędzi, których potrzebują, aby zrozumieć swoje audytoria na dużą skalę. Liczby sprzedaży i liczby widzów odpowiadają na “co” zachowań audytorium, ale nie na “dlaczego”. Bez kontekstu, ustalenie, co jest korelacją, a co przyczyną, jest grą w zgadywanie. Rozpoznając tę pustę, zagłębiliśmy się w to, jak wyglądałoby rozwiązanie dla zrozumienia kontekstowego, i tak powstało Spiketrap.

Jakie technologie sztucznej inteligencji są stosowane w Spiketrap?

Używamy wielu technologii, od standardowych bibliotek Scikit-learn do bibliotek głębokiego uczenia się, takich jak Pytorch. Poza bibliotekami, metody, modele i zestawy danych, które używamy, są w większości własne. Nauczyliśmy się, że gotowe metody i modele prowadzą tylko do pewnego punktu, ale aby naprawdę rozwiązać problem, trzeba włożyć własną pracę, zaczynając od celów i dochodząc do architektury modelu i zestawów danych. Przykład: modelowanie tematów to zadanie wyodrębnienia tematów z kolekcji tekstów. Nasz “Spiketrap Convos” dostarcza naszym klientom kluczowych informacji o ich audytorium i wykorzystuje modelowanie tematów jako jeden z sygnałów. Twoja typowa metoda modelowania tematów to LDA (Latent Dirichlet Allocation), ale niestety jest zbyt niekonsekwentna i nieprzewidywalna i po prostu nie wystarczająco potężna. Z drugiej strony, możesz spróbować nowoczesnego wstępnie wytrenowanego modelu, takiego jak Bert-Topics, który – chociaż potężny i wszechstronny – jest również bardzo sztywny i wolny. NLP i językowa sztuczna inteligencja zrobiły ogromne postępy w ciągu ostatniej dekady, ale przekształcenie istniejących modeli w produkty nadal jest dalekie od optymalnego i ryzykowne.

Czy mógłbyś wyjaśnić, w jaki sposób Spiketrap zapewnia natychmiastowe zrozumienie audytorium dla twórców, platform i marek?

Reklamodawcy i agencje używają naszych list liderów influencerów i narzędzi do określania affinity, aby zidentyfikować twórców, których społeczności są bezpieczne dla marek w różnych kategoriach, w tym ocen za treści toksyczne, wulgarne i seksualne – oraz ogólną bezpieczeństwo społeczności.

Twórcy mogą używać narzędzia, aby zagłębić się w poszczególne strumienie i zobaczyć, które rozmowy były najbardziej lub najmniej bezpieczne, które napędzały pozytywną interakcję dla ich sponsorów i gdzie mogliby poprawić swoje wysiłki moderacyjne.

W niedawnym artykule zatytułowanym ‘FeelsGoodMan: Inferencja semantyki neologizmów Twitch‘ opublikowanym przez Spiketrap, czy mógłbyś krótko opowiedzieć o tym, czym jest ten artykuł?

Sposób, w jaki ludzie komunikują się i wyrażają online, staje się coraz bardziej złożony i trudny do zrozumienia. Najpierw przyszły emotikony :-). Potem przyszły emoji. Potem memy… i teraz “emote”, nowy rodzaj komunikacji oparty na ikonach, który stał się bardzo popularny na platformie Twitch. Emote są podobne do emoji, ponieważ są używane w połączeniu z zwykłym tekstem, ale prezentują podobne wyzwania, jak memy, ponieważ są tworzone przez użytkowników i ich tajemniczy sens nie ma oczywistego związku z rzeczywistym obrazem. Jest ponad 8 milionów odrębnych emote do tej pory, a ponad 400 tysięcy jest używanych tygodniowo. Ludzie komunikują się skutecznie, używając ich, aby wyrazić każdy rodzaj uczucia, takiego jak radość, nudę, ekscytację lub sarkazm. Nasz niedawny artykuł to książka kucharska AI, aby wywnioskować semantyczne znaczenie emote. Nasze podejście nie wymaga utrzymania i aktualizacji ręcznie kuratorowanego zestawu danych i jest w stanie samodzielnie adaptować się do ciągłego wprowadzania nowych emote, a także do ewolucji znaczenia popularnych emote. Jest to szczególnie ważne, gdy emote staje się załadowany politycznie lub rasowo, co widzieliśmy w przypadku bardzo popularnych emote, takich jak “TriHard”, “PogChamp” i “FeelsGoodMan”. Dynamiczne użycie języka i zmiany znaczenia stanowią ogromne problemy dla systemów moderacyjnych lub ram sentymentu, więc jesteśmy dumni, że podejmujemy ten problem w odpowiedni sposób w Spiketrap.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Spiketrap?

Patrząc w przyszłość, Spiketrap pracuje nad rozwojem i udoskonaleniem nowego narzędzia, które zapewni głębsze zrozumienie sentymentu marki dla naszych klientów. Nowe narzędzie Spiketrap Affinity zapewnia interaktywny i intuicyjny sposób identyfikacji i ilościowego określania affinities audytorium między twórcami, markami, grami i więcej. Dla każdego zapytania, narzędzie generuje indeksy affinities, które wskazują, jak dobrze dana jednostka jest pozytywnie skorelowana z inną. Wiele kontekstowych sygnałów składa się na wynik, w tym częstotliwość i sentyment powiązanych wzmianek. Stos technologiczny Spiketrap jest unikalnie pozycjonowany, aby indeksować affinities między grami, markami i twórcami. Własny silnik NLP AI, Clair, przetwarza miliony publicznie opublikowanych wiadomości użytkowników każdego dnia, przypisując niejasną treść do jednostek w obszernym grafie wiedzy, identyfikując tematy rozmów,