Sean Gourley, dyrektor generalny i założyciel Primer – seria wywiadów

Sean Gourley jest dyrektorem generalnym i założycielem Elementarz, przedsiębiorstwo dostarczające aplikacje do przetwarzania języka naturalnego (NLP) klasy przemysłowej dla agencji rządowych, instytucji finansowych, firm z listy Fortune 50 i wielu innych organizacji.

Jednym z głównych przypadków użycia Primera jest pomoc ludziom w wykrywaniu, zrozumieniu i reagowaniu na kampanie dezinformacyjne. W celu ulepszenia tych usług Primer niedawno nabyty Yonder w celu zwiększenia ich zdolności do zwalczania ataków dezinformacyjnych.

Spotkaliśmy się z Seanem, aby omówić niedawne dezinformacje Konferencja AI4 która odbyła się w Las Vegas. Sean jest skarbnicą informacji na temat kampanii dezinformacyjnych i propagandy rządowej. Poniżej nasz wywiad.

Co początkowo przyciągnęło Cię do nauki i zrozumienia całego ekosystemu dezinformacji?

Opowiedziałem więc trochę o handlu o wysokiej częstotliwości i było to interesujące. Przeglądałem to. Była cała taka przestrzeń algorytmów, które próbowały zrozumieć, czy coś się na świecie wydarzyło, a potem na tym handlować. I to było prymitywne. To było w 2012 roku i zaczęliśmy słyszeć hałas.

Czytając, mylili się lub błędnie interpretowali sygnały. A potem pojawił się tweet, w którym rzekomo włamano się do AP. A na ich koncie na Twitterze napisano: „Przełom: eksplozja w Białym Domu, kontuzja Baracka Obamy”. A potem rynek przyjął tę informację i spadł, tracąc około 130 miliardów dolarów na tym tweecie. Teraz nie wiem, czy miało to napędzać rynek, czy miało po prostu wywołać spustoszenie, czy może miało coś zrobić, ale wtedy to było po prostu takie połączenie, pomyślałem: „Wow”. To tak, jakby motyl trzepotał skrzydłami i wywierał tego rodzaju wpływ, ponieważ w pewnym sensie wykorzystuje zestaw aktorów algorytmicznych, tak że tak naprawdę nie są oni aż tak mądrzy.

Więc to zobaczyłem i to mnie skłoniło do zagłębienia się w temat, a potem zacząłem szukać… I zobaczyłem całą masę meksykańskich botów, meksykańskich kont, które twierdziły, że dziennikarze nie zostali zabici przez kartele narkotykowe. A to jest jakiś rok 2013. A ja na to: „O mój Boże, mamy aktorów niepaństwowych, kartele narkotykowe, angażujących się w tę sprawę, aby stworzyć bitwę narracyjną. I wygląda na to, że wygrywają.” A ja na to: „To nie są nawet aktorzy państwowi”. I w tym momencie powiedział coś w rodzaju: „No cóż, a jeśli aktor państwowy dostanie to w swoje ręce? Jak by to wyglądało i co by to dało?” A potem w 2015 roku opublikowałem artykuł w Wired. Właściwie został napisany pod koniec 2014 roku, ale dotyczył prognoz na 2015 rok. Powiedziałem: „To będzie rok, w którym boty przejmą wybory i będą je kontrolować”. .”

I stało się to niesamowicie prorocze, gdy ukazał się ten utwór, być może nawet bardziej, niż początkowo myślałem. Ale to było po prostu zobaczenie tego rodzaju łuku technologicznego. Z tej samej strony widzieliśmy także, jak wiele z tych technologii było prymitywnych. To było dość prymitywne. Więc wszystko zaczęło się układać w jedną całość i wtedy otrzymaliśmy taką przestrzeń, w której znaleźliśmy się, co jest wow, możesz kontrolować narrację poprzez wielokrotny kontakt z informacjami z kanałów, które obecnie konsumujesz.

Czy uważa Pan, że doszło do wywarcia wpływu na wybory lub że tego rodzaju dezinformacja może wpłynąć na przyszłe wybory?

W pewnym sensie ujmuję to w ramkę tutaj. Po pierwsze, podeszliśmy do tego bardzo wąsko, co oznacza, że ​​dezinformacja nie jest prawdziwa. A ja uważam, że jest za wąsko. Musimy rozszerzyć to na to, kto kontroluje narrację. W tej chwili narracja może równie dobrze być prawdziwa, ale może nie być aż tak ważna.

Możemy nagrać historię, jeśli martwisz się przestępczością, i możemy po prostu masowo transmitować wszystkie przestępstwa na wszystkie kanały, a wrócisz przez to i pomyślisz, że twoje miasto właśnie przeszło przez najstraszliwszą falę przestępczości jakie kiedykolwiek widziano. A jedyne, co zrobiłeś, to po prostu wzięcie każdego zgłoszonego przestępstwa, które wcześniej nie było na twoim radarze, i umieszczenie go w swoim systemie.

Teraz zaczniecie wierzyć, że przestępczość jest znacznie większa, niż jest w rzeczywistości. To się nie zmieniło, ale jesteś na to bardziej narażony. Zatem nie chodzi o to, czy przestępstwo miało miejsce, czy nie, ale o to, czy walczyło o twoją uwagę. Więc to jest jeden kawałek. Zostaliśmy w to wciągnięci. Czy to się wydarzyło, czy nie? Jakby to była bitwa. Ale tak naprawdę walka toczy się o światopogląd ludzi. To więc jedna strona sprawy.

Druga kwestia dotyczy tego, jak bardzo możesz mieć wpływ na te rzeczy? Cóż, jeśli nie masz pojęcia, czy szczepionki powodują utratę 37 punktów IQ, lub jeśli wcześniej nie wierzyłeś, że szczepionki i inteligencja są ze sobą powiązane. Gdybym ci powiedział, że tak, szczepionki zwiększyły twoje IQ, teraz byłbyś trzy razy bardziej skłonny w to uwierzyć, niż gdyby ktoś wrócił i powiedział ci, że szczepionki spowodowały spadek twojego IQ. Zatem ktokolwiek przyjdzie z pierwszą wiadomością, ma największe szanse, że utrzymasz to przekonanie, jeśli wcześniej nie miałeś o czymś zdania.

Czy zatem uprzedzenia w ludzkim mózgu są na to podatne?

To błąd w ludzkim mózgu. Po drugie, nawet jeśli wiesz, że informacja jest fałszywa, jeśli się z nią zetkniesz, istnieje większe prawdopodobieństwo, że w nią uwierzysz, nawet jeśli wiesz, że jest fałszywa. Mamy zatem do czynienia z powtarzaniem informacji. Jest pierwsza informacja, o której wcześniej nie miałeś zdania. Kolejną rzeczą, którą wiemy, jest to, że jeśli masz coś z niezależnych źródeł, bardziej mu ufasz. A jeśli masz to od osób, które są w Twojej sieci znajomych, ufasz mu bardziej, staje się to metodologią afiliacji. Wiemy, że około 25% to punkt krytyczny. Jeśli 25% ludzi zacznie w coś wierzyć, tworzy się ogromny punkt zwrotny, w wyniku którego staje się bardzo prawdopodobne, że 75% lub 80% ludzi zacznie w to wierzyć.

Wszystko to sprowadza się do rodzaju sposobu kształtowania opinii i mechanizmu osiągania konsensusu przez grupy. Istnieje podgałąź fizyki, czyli fizyka obliczeniowa, która się tym zajmuje. Można sięgnąć do literatury i zrozumieć te modele formowania się, propagowania i przyjmowania opinii.

Jeśli tak zdecydujesz, możesz zaprojektować te systemy i ludzie zaczynają to robić. Nie sądzę, żeby były zbyt wyrafinowane. Ale spójrz, Chiny to superpotęga AI. Wiedzą, że wygrywanie wojen informacyjnych wokół dynamiki Tajwanu staje się niezwykle ważne. Powinniśmy oczekiwać, że zrobią każdy krok, na jaki pozwala technologia, zaangażują się w ten konflikt i wygrają.

Wiemy, jak ludzie padają tego ofiarą, ale w jaki sposób sztuczna inteligencja wykrywa pierwotną prawdę?

Musimy odejść od tego, co jest prawdą, i mam na myśli to, że nie chodzi tu o weryfikację faktów we wszystkim. Ponieważ powiedzieliśmy: „Słuchaj, sztuczna inteligencja może ustalić, że tak, to przestępstwo miało miejsce, ale to nie ma znaczenia”. To nie o to chodzi. Teraz wierzysz, że w Twoim mieście panuje ogromna fala przestępczości i należy coś z tym zrobić. Prawidłowy? A jaka jest sedno prawdy o tym, czy Tajwan należy do Chin, czy nie? Mam na myśli, że można cofnąć się w czasie do historii. Możemy o tym dyskutować, ale czy sztuczna inteligencja wie? Czy wiemy dokładnie, gdzie to jest?

Teraz wiemy, że jest to kwestia stosunkowo dzieląca. A Stany Zjednoczone i Tajwan mają struktury przekonań. Chiny mają inną strukturę przekonań. Zadaniem sztucznej inteligencji nie jest rozstrzyganie, kto ma w tej kwestii rację. Zadaniem sztucznej inteligencji jest ustalenie, czy ktoś próbował aktywnie wpłynąć na to, abyś uwierzył w jedną lub drugą stronę.

A to druga kwestia: ludzie będą używać sztucznej inteligencji, aby cię przekonać, uwierzyć w jedną lub drugą stronę, stosując metody zdobywania pierwszego przekonania, ciągłego powtarzania narażenia na to, uzyskania pozornie niezależnych głosów, kontrolowanie i wybieranie 25% swojej sieci wpływów, aby mieć nadzieję, że odwrócisz się i uwierzysz drugiej stronie. Są to wszystkie techniki, które sztuczna inteligencja może ulepszyć, a także przed którymi może się bronić. Musimy jednak odejść od kwestii, czy sztuczna inteligencja może określić prawdę, ponieważ często prawda jest być może mniej ważna niż walka o narrację.

A jak Primer pomaga w tym?

Chodzi więc przede wszystkim o inwigilację i wykrywanie. Jedna z rzeczy, która się wyłania, jest taka, że ​​znaleźliśmy się w miejscu, w którym po raz pierwszy często słyszymy o kampaniach dezinformacyjnych sześć miesięcy po ich wystąpieniu.

To znaczy, że nigdy nie będziemy w stanie uchwycić tego w czasie rzeczywistym?

Cóż, to nawet nie jest czas rzeczywisty. To tak, jeśli włożymy nas w kinetykę, rakiety przesuną się na granicę Stanów Zjednoczonych, a sześć miesięcy później zdamy sobie sprawę, że zostały wystrzelone w naszą stronę. Właśnie tam jesteśmy. Mamy ogromną lukę do wypełnienia w zakresie obserwacji i rozpoznania dezinformacji, czyli operacji informacyjnych, które nazywamy. Jeśli przeprowadzono operację informacyjną, musimy uzyskać w czasie rzeczywistym lub prawie rzeczywistym zrozumienie, jak to wygląda, jakie są motywacje, jakie są manipulacje, i umieścić to w miejscu, od którego możemy zacząć albo podjąć działania mające na celu zamknięcie tych sieci botów, albo możemy zacząć ograniczać rozprzestrzenianie się tych informacji.

A jaki jest Twój pogląd na temat największego zagrożenia, jakie Chiny stanowią dla świata?

To ważne pytanie dla całego świata. Wiemy jednak, że uczestniczymy w wyścigu zbrojeń sztucznej inteligencji z Chinami, ponieważ zwycięzca tego wyścigu będzie miał bardzo dominującą przewagę militarną nad kimkolwiek, kto zajmie drugie miejsce w tym wyścigu. Dlatego Chiny zamierzają bardzo agresywnie zająć się elementami sztucznej inteligencji. Drugim tego elementem jest znaczenie produkcji chipów i zaawansowanych procesorów graficznych, którymi dysponuje Tajwan. Myślę, że jeśli Chiny na to spojrzą i będą miały laboratoria produkcyjne, obiekty i odlewnie na Tajwanie, zajmą bardzo, bardzo dominującą pozycję w wyścigu zbrojeń AI.

Jeśli Chiny wezmą to siłą, istnieje duża szansa, że ​​w końcu zniszczą te zdolności lub zostaną zniszczone przez Tajwan i nikt ich nie będzie miał. Co byłoby w pewnym sensie w porządku dla Chin. Na całym świecie doszłoby do ogromnych zakłóceń, ale gdyby tak się stało, niekoniecznie stanowiłoby to tak duży problem dla Chin.

Jeśli jednak uda im się to wykorzystać w całości, będzie to dla nich ogromna zaleta. A sposób, w jaki to robisz, jaki widzieliśmy w Hongkongu, polega na tym, że „naprawdę jesteś częścią nas”. I przekonujesz resztę świata, że ​​naprawdę są częścią nas. A jeśli spróbujesz sprzeciwić się temu przekonaniu lub opinii, pojawią się problemy ekonomiczne lub inne. Zatem to, w co zaangażowane są Chiny, będzie operacją wywierania wpływu na skalę globalną, mającą na celu przekonanie świata, że ​​Tajwan jest częścią Chin, przekonanie Tajwańczyków, że są częścią Chin. A jeśli im się to uda, nagle Chiny będą miały ciasto i też będą mogły je zjeść.

Zatem zobaczymy, czy Chiny zamierzają przeprowadzić narracyjne operacje informacyjne, aby przekonać świat, że Tajwan jest częścią Chin. I potwierdza to Komisja ds. Wywiadu Izby Reprezentantów. Tworząc ustawę o autoryzacji wywiadu, wymienili w szczególności metody wykrywania chińskich operacji wywierania wpływu na Karaibach, w Ameryce Południowej i Ameryce Środkowej.

To konkretne wezwanie do społeczności wywiadowczej, aby nad tym popracowała. W ustawie Intelligence Authorization Act zwrócono również uwagę na możliwość przyjęcia sztucznej inteligencji, możliwość korzystania z komercyjnych gotowych technologii oraz możliwość wdrażania w tych organizacjach środowisk bez kodu. Ze wzgórza wyszło kilka naprawdę konstruktywnych rzeczy. Niektóre artykuły są ogólnodostępne i można je przeczytać. Bardzo interesujące są informacje na temat zwalczania chińskich kampanii dezinformacyjnych, szczególnie w krajach Ameryki Południowej, Ameryki Środkowej i Karaibów.

Jaką rolę, Twoim zdaniem, muszą odegrać silniki rekomendujące, takie jak YouTube, Facebook, Twitter i TikTok, we wzmacnianiu tej fałszywej narracji?

Jedno, co wiemy o Chinach, to to, że powstrzymali Facebooka przed wejściem. Facebook wkroczył do Chin. W 2012 roku Mark Zuckerberg powiedział: „Zamierzam nauczyć się mandaryńskiego. Wszystko dotyczy Chin”. Chiny odpowiedziały: „Wpuścimy cię, a teraz do widzenia”.

Ponieważ Chiny powiedziały: „No cóż, do cholery, pozwolimy amerykańskiej firmie kontrolować kanały informacyjne naszej populacji. Bardzo ciężko pracowaliśmy, dziękuję bardzo, aby kontrolować informacje docierające do naszej populacji. To jest to, co robimy. Jesteśmy w tym bardzo dobrzy. Wpuścimy Cię, będziemy się od Ciebie uczyć. Ale potem cię nie ma. Więc teraz Facebooka nie ma.

Zatem KPCh (Komunistyczna Partia Chin) podjęła bardzo jasną decyzję dotyczącą sposobu kontrolowania informacji. Teraz, jako reżim autorytarny, macie tę kontrolę. „Nie będziesz wpadał na takie pomysły. Nie będziesz mówił takich rzeczy. Nie zrobisz tego.” Jako liberalna demokracja musimy zaangażować się w możliwość debaty i wymiany pomysłów w stosunkowo wolnej i otwartej przestrzeni. Są pewne granice, ale są one tuż na krawędziach. Myślę więc, że Chiny były w stanie kontrolować informacje. USA nie mogą w tym samym stopniu, tam jest demokracja. Musimy pozwolić, aby bałagan informacyjny sam się uporał. Dlatego staliśmy się podatni na tego typu ataki informacyjne. W systemie jest duża asymetria. „Chcesz umożliwić swobodę dyskusji? Cóż, zamierzamy to zepsuć. Nie możesz nam tego zrobić, ponieważ mamy bardzo dobre blokady naszych systemów informatycznych.

Myślę, że jest to coś, z czym będziemy się zmagać. Pierwszy rodzaj protokołu, czyli szybkie identyfikowanie, czy na platformie prowadzone są operacje informacyjne, ostrzega systemy, że przynajmniej ograniczają rodzaj rozpowszechniania tych informacji, ale także, jeśli nie ma -boty sieciowe, usuń je szybko. Rekomendacyjna strona tego… Powiedziałbym, że nie zostało to złośliwie wykorzystane przez amerykańskie firmy. Nie sądzę, że to właśnie tam. Czy może zostać złośliwie wykorzystany przez firmę zewnętrzną? Tak, potencjalnie. Gdybyś był z kimś w stanie wojny, a ta osoba miałaby kontrolę nad siecią informacyjną przekazującą twojemu społeczeństwu narracje, czy zaufałbyś tej osobie, że będzie uczciwa i bezstronna?

Cóż, wiemy już, co stało się z VK i Rosją, czyli siecią społecznościową. Powiedzieli: „No cóż, nie będziecie umieszczać żadnych zdjęć zmarłych ludzi, których zabiliśmy na Ukrainie. To jest po prostu zakazane. Zamierzamy postawić ścianę informacyjną, aby zatrzymać rozpowszechnianie informacji z zachodnich sieci do naszych sieci.” Kiedy więc zaczyna się konflikt, ludzie stawiają bariery mówiące: „Nie będziecie mieli wpływu na naszą populację”.

Myślę więc, że według podręcznika VK zajęło to może trzy lub cztery tygodnie. Myślę, że było okno, które było stosunkowo otwarte, ale potem je zamknęli, ponieważ zdali sobie sprawę, że jeśli nie kontroluje się narracji w swojej populacji i jeśli pozwoli się im zobaczyć szkody wyrządzane przez rakiety i ataki na ludność cywilną na Ukrainie, może nie chcą już walczyć.

Myślę, że jedną z rzeczy, którymi wszyscy jesteśmy zaskoczeni w przypadku Ukrainy, była siła, z jaką wracali. I nie sądzę, że myliliśmy się, sądząc, że wojna mogłaby być bardzo szybka, gdyby ludzie z Ukrainy odłożyli broń. Ale to, co się stało, było odwrotne. Wrócili do kraju, wzięli kałasznikowy i rozpoczęli walkę. A to dlatego, że narracja się odwróciła i to w kilku kluczowych kwestiach. Duch Kijowa, Wyspa Węży, kobieta z nasionami słonecznika w kieszeniach żołnierza i mówiąca: „Kiedy umrzesz, przyjdą słoneczniki”. Te momenty, memy, odbiły się echem wśród tej populacji.

Wiele z nich nie było prawdą. Albo zostały wyprodukowane. Wzmocniono Ghost of Kijów i Snake Island. Przeżyli, ale uznano ich za męczenników, którzy powiedzieli: „Pierdol się” i zostali zabici. Była to wojna informacyjna w pełnym tego słowa znaczeniu, która wytworzyła ducha walki nie tylko na Ukrainie, ale także w krajach członkowskich NATO i w USA, tak że flagi Ukrainy powiewały wokół i mówiły: „Musimy się tym zająć”. To nie musiało tak być. Wojną, którą najłatwiej wygrać, jest ta, w której opozycja nie chce walczyć. I taki był zakład i ryzyko, które podjęli Rosjanie i Putin, i on się mylił. I mylił się, ponieważ nigdy nie widzieliśmy operacji wywierania wpływu, która przyniosłaby zwycięstwo w wojnie narracyjnej, jaką kiedykolwiek widzieliśmy z Ukrainą. I było doskonale.

Myślę, że nie doceniamy potęgi operacji informacyjnych. Myślę, że Chiny bardzo uważnie przyglądają się tej sytuacji i myślę, że zobaczymy, jak to się rozegra. Widzimy, jak to się rozgrywa w porównaniu z Tajwanem i co myśli o tym reszta świata. Myślę, że Stany Zjednoczone, jeśli chcą się zaangażować, muszą posiadać ten sam zestaw umiejętności, aby zwalczać operacje informacyjne.

Czy są jakieś ostatnie słowa, którymi chciałeś się podzielić na temat Primera?

Angażujemy się w tę misję, aby pomóc Stanom Zjednoczonym i ich sojusznikom w udostępnieniu najlepszej technologii dla bojowników wojennych i myślę, że chcemy, aby więcej firm technologicznych przybyło i przyłączyło się do tej walki.

Dziękuję za ten pouczający wywiad. Czytelników, którzy chcą dowiedzieć się więcej, zapraszamy do odwiedzenia Elementarz.