Sean Gourley, CEO & Founder of Primer – Wywiad z serii

Sean Gourley jest CEO & Founderem Primer, przedsiębiorstwem, które dostarcza aplikacje przetwarzania języka naturalnego (NLP) na poziomie przemysłowym dla agencji rządowych, instytucji finansowych, firm z listy Fortune 50 i wielu innych organizacji.

Jednym z głównych przypadków użycia Primer jest pomoc ludziom w wykrywaniu, zrozumieniu i odpowiedzi na kampanie dezinformacyjne. W celu poprawy tych usług Primer niedawno przejął Yonder, aby poprawić swoją zdolność do walki z atakami dezinformacyjnymi.

Usiedliśmy z Seanem, aby omówić dezinformację na niedawnym konferencji Ai4, która odbyła się w Las Vegas. Sean jest skarbnicą informacji na temat kampanii dezinformacyjnych i propagandy rządowej. Poniżej znajduje się nasz wywiad.

Czym było to, co początkowo przyciągnęło Twoją uwagę do nauki i zrozumienia całego ekosystemu dezinformacji?

Mówiłem trochę o handlu wysokoczęstotliwościowym i było to interesujące. Przeglądałem to. Był cały ten obszar algorytmów, które próbowały zrozumieć, czy coś się wydarzyło na świecie, a potem handlowały na tym. I było to prymitywne. To było w 2012 roku, a my byliśmy tylko szumem.

Będąc w tym, zobaczyłem tweet, który miał być hakowanym przez AP. Ich konto na Twitterze powiedziało: “Breaking: Wybuch w Białym Domu, Barack Obama został ranny.” A potem rynek stracił około 130 miliardów dolarów na tej wiadomości. Nie wiem, czy miało to na celu napędzać rynek, czy stworzyć chaos, czy miało to zrobić coś, ale to było po prostu to połączenie w tamtym czasie, myślałem: “Wow”. To jest jak ten motyl, który macha skrzydłami i tworzy taki wpływ, ponieważ wykorzystuje zestaw aktorów algorytmicznych, którzy naprawdę nie są zbyt mądrzy.

Więc zobaczyłem to i to mnie zainteresowało, a potem zacząłem szukać… I zobaczyłem, że była cała masa meksykańskich botów, meksykańskich kont, które twierdziły, że dziennikarze nie zostali zabici przez kartele narkotykowe. I to było jakby 2013 rok. I myślałem: “O mój Boże, masz niepaństwowych aktorów, kartele narkotykowe, które angażują się w tę rzecz, aby stworzyć bitwę narracyjną. I wygląda na to, że wygrywają”. I myślałem: “To nie są nawet państwowi aktorzy”. I w tym momencie powiedziałem: “Cóż, co by się stało, gdyby państwowy aktor dostał się na to? Co by to wyglądało i co by to zrobiło?” I potem opublikowałem artykuł w Wired w 2015 roku. Był napisany na koniec 2014 roku, ale była to o predykcjach na 2015 rok. I powiedziałem: “To będzie rok, w którym boty przejmą kontrolę nad wyborami”.

I stało się to niezwykle prorocze, ponieważ ten artykuł przeszedł przez, być może nawet bardziej niż myślałem. Ale to było po prostu widzenie tego rodzaju łuku technologii. Z drugiej strony, widzieliśmy również, jak prymitywne były te technologie. Było to dość prymitywne. Więc wszystko to zaczęło się łączyć, a potem dostaliśmy ten rodzaj przestrzeni, w której się znaleźliśmy, czyli wow, możesz kontrolować narracje tylko przez powtarzające się narażenie na informacje z kanałów, które teraz konsumujesz.

Czy uważasz, że były wybory, które zostały przekręcone lub że przyszłe wybory mogą zostać przekręcone przez ten rodzaj dezinformacji?

Ramy tego w pewnym sensie. Po pierwsze, przyjęliśmy bardzo wąskie podejście, które polega na tym, że dezinformacja nie jest prawdziwa. I myślę, że to jest za wąsko. Musimy to rozszerzyć do tego, kto kontroluje narracje. W tej chwili narracja może być bardzo prawdziwa, ale może nie być tak ważna.

Możemy wziąć historię, jeśli martwisz się o przestępczość, i możemy po prostu nadawać wszystkie przestępstwa we wszystkich kanałach, i wrócisz przez to i pomyślisz, że twoje miasto przeszło przez najgorszą falę przestępczości, jaką kiedykolwiek widziało. I wszystko, co zrobiłeś, to wziąłeś każde przestępstwo, które kiedykolwiek było zgłoszone, które wcześniej nie było na twojej radarze, i włożyłeś je do twojego systemu.

Teraz zaczniesz wierzyć, że przestępczość jest znacznie wyższa, niż jest w rzeczywistości. Nie zmieniło się, ale jesteś bardziej narażony na to. To nie jest czy to się wydarzyło, czy nie, to jest czy ktoś próbował aktywnie wpłynąć na ciebie, abyś uwierzył w jedną lub drugą stronę.

Druga część tego jest taka, że możesz wpłynąć na to, ile możesz. Jeśli nie masz pojęcia, czy szczepionki powodują utratę 37 punktów IQ, lub jeśli nie miałeś wcześniej przekonania, że szczepionki i inteligencja są powiązane. Jeśli powiem ci, że tak jest, będziesz teraz trzykrotnie bardziej skłonny uwierzyć w to, niż gdyby ktoś powiedział ci, że szczepionki powodują utratę IQ. Kto przychodzi z pierwszym przekazem, ma najlepszą szansę na to, abyś uwierzył w to, jeśli wcześniej nie miałeś zdania na ten temat.

Czy to jest skłonność w ludzkim mózgu, która jest podatna na to?

To jest skłonność w ludzkim mózgu. Druga część, nawet jeśli wiesz, że informacja jest fałszywa, jeśli jesteś narażony na nią, jesteś bardziej skłonny uwierzyć w nią, nawet jeśli wiesz, że jest fałszywa. Więc jest powtarzanie informacji. Jest pierwsza część informacji, gdy wcześniej nie miałeś zdania na ten temat. I potem jest inna część, o której wiemy, że jeśli masz to od niezależnych źródeł, ufasz temu bardziej. I jeśli masz to od ludzi, którzy są w twojej sieci przyjaciół, ufasz temu bardziej, staje się to metodą afiliacji. I wiemy, że około 25% to punkt zwrotny, jeśli 25% ludzi zacznie wierzyć w coś, tworzy to ogromny punkt zwrotny, w którym potem bardzo prawdopodobne jest, że 75% lub 80% ludzi zacznie wierzyć w to.

Więc wszystko to sprowadza się do świata tworzenia opinii i mechaniki, w jaki sposób grupy dochodzą do konsensusu. Jest podgałąź fizyki, która jest studiowana w fizyce komputacyjnej, i możesz wejść do literatury i zrozumieć te modele, w jaki sposób opinie są tworzone, propagowane i przyjmowane.

Możesz inżynierować te systemy, jeśli chcesz. I to jest to, co ludzie zaczynają robić. Nie myślę, że są zbyt wyrafinowani. Ale spójrz, Chiny są supermocarstwem AI. Wiedzą, że wygranie wojen informacyjnych wokół dynamiki Tajwanu staje się niezwykle ważne. Powinniśmy się spodziewać, że podejmą każdy krok, na jaki pozwala im technologia, aby zaangażować się i wygrać w tym konflikcie.

Jak AI wykrywa prawdę?

Musimy odejść od tego, co jest prawdą, i co mam na myśli, to, że to nie jest o tym, aby przynieść sprawdziany faktów do wszystkiego. Ponieważ powiedzieliśmy, tutaj, spójrz, AI może określić, czy to przestępstwo rzeczywiście miało miejsce, ale to nie ma znaczenia. To nie jest to, co się liczy. Teraz wierzysz, że jest ogromna fala przestępczości w twoim mieście i coś trzeba z tym zrobić. Czy jest prawdą, czy nie, to nie ma znaczenia. AI nie ma za zadanie określić, czy ktoś próbował aktywnie wpłynąć na ciebie, abyś uwierzył w jedną lub drugą stronę.

I to jest druga część, ludzie będą używać sztucznej inteligencji, aby próbować przekonać cię, abyś uwierzył w jedną lub drugą stronę, używając metod, aby dostać pierwsze przekonanie, powtarzającego się narażenia na tę informację, zdobywania niezależnych głosów, które przychodzą przez, kontrolowania i wybierania 25% twojej sieci wpływów, aby mieć nadzieję, że przekonasz się do uwierzenia w drugą stronę. Te techniki mogą być wzmocnione przez AI, a AI może również bronić przed nimi. Ale musimy odejść od tego, czy AI może określić prawdę, ponieważ często prawda jest mniej ważna niż bitwa o narrację.

Jak Primer pomaga w tym?

Przede wszystkim jest to nadzór i wykrywanie. Jedną z rzeczy, które wynikają z tego, jest to, że pierwszy raz, kiedy słyszymy o kampaniach dezinformacyjnych, jest sześć miesięcy po tym, jak się wydarzyły.

Czyli nigdy nie jesteśmy w stanie złapać tego w czasie rzeczywistym?

Nie jest to nawet czas rzeczywisty. To jest jakby umieścić nas w rzeczywistej sytuacji, rakiety zostały wystrzelone na granicę USA, a sześć miesięcy później zdajemy sobie sprawę, że zostały wystrzelone na nas. To jest tam, gdzie jesteśmy. Mamy ogromną lukę do wypełnienia w zakresie nadzoru i rozpoznania wokół dezinformacji lub operacji informacyjnych, jak je nazywamy. Jeśli została przeprowadzona operacja informacyjna, musimy uzyskać czas rzeczywisty lub zbliżony do czasu rzeczywistego zrozumienie tego, jak to wygląda, jakie są motywy, jakie są manipulacje, i umieścić to w miejscu, w którym możemy zacząć albo działać, aby zatrzymać te sieci botów, albo możemy zacząć ograniczać rozprzestrzenianie się tej informacji.

Jak postrzegasz ostateczne zagrożenie, jakie Chiny stanowią dla świata?

To jest duże pytanie dla świata. Co wiemy, to, że jesteśmy w wyścigu zbrojeń z Chinami, ponieważ zwycięzca tego wyścigu będzie miał znaczną przewagę militarną nad kimś, kto jest na drugim miejscu w tym wyścigu. Chiny będą więc prowadzić składniki sztucznej inteligencji bardzo agresywnie. Druga część tego jest to, że Chiny mają przewagę w produkcji półprzewodników i zaawansowanych GPU, których Tajwan posiada. I myślę, że jeśli Chiny wezmą to siłą, istnieje duże prawdopodobieństwo, że zniszczą te możliwości, lub że zostaną zniszczone przez Tajwan i nikt ich nie będzie miał. Co byłoby w porządku na pewnym poziomie dla Chin. Byłoby to ogromne zakłócenie na całym świecie, ale niekoniecznie stwarzałoby problem dla Chin, jeśli do tego dojdzie.

Jednak jeśli mogą to wziąć całościowo, to jest to ogromna przewaga dla nich. I sposób, w jaki to zrobią, to tak jak to, co widzieliśmy na przykładzie Hongkongu, jak “Ty naprawdę należysz do nas”. I przekonują resztę świata, że naprawdę należysz do nas. I jeśli sprzeciwiasz się temu przekonaniu lub opinii, to będą problemy gospodarcze lub inne. Więc to, co Chiny robią, to globalna operacja wpływania, aby przekonać świat, że Tajwan jest częścią Chin, aby przekonać ludzi z Tajwanu, że są częścią Chin. I jeśli mogą to zrobić, to nagle Chiny mają ciasto i mogą je zjeść.