Sean Gourley, VD och grundare av Primer – Intervju-serie

Sean Gourley är VD och grundare av Primer, ett företag som tillhandahåller industriell Natural Language Processing (NLP) för myndigheter, finansiella institutioner, Fortune 50-företag och många andra organisationer.

En av de primära användningsfallen för Primer är att hjälpa människor att upptäcka, förstå och svara på desinformationskampanjer. I ett försök att förbättra dessa tjänster har Primer nyligen förvärvat Yonder för att förbättra sin förmåga att bekämpa desinformationsattacker.

Vi satte oss ner med Sean för att diskutera desinformation vid den senaste Ai4-konferensen som hölls i Las Vegas. Sean är en skattkista av information om desinformationskampanjer och regeringspropaganda. Här är vår intervju.

Vad var det som initialt drog dig till att lära dig om och förstå hela desinformationssystemet?

Jag pratade lite om högfrekvenshandel, och det var intressant. Jag tittade igenom det och det fanns ett utrymme med algoritmer som försökte förstå om något hade hänt i världen och sedan handla på det. Och det var primitivt. Detta var 2012, och vi plockade upp brus.

De fick saker fel när de läste det, eller missförstod signaler. Och sedan kom det ett tweet som sa, “Breaking: Vit hus-explosion, Barack Obama skadad.” Och sedan föll marknaden och förlorade cirka 130 miljarder dollar på det tweetet. Nu vet jag inte om det var avsett att driva en marknad, om det var avsett att skapa kaos, eller om det var avsett att göra något, men det var bara den där kopplingen tillbaka på den tiden, jag var som, “Wow.” Det är som att en fjäril flaxar med sina vingar och skapar den här sortens inverkan, eftersom det utnyttjar uppsättningen algoritmiska aktörer som de verkligen inte är så smarta.

Jag såg det, och det fick mig att gräva djupare och sedan började jag titta… Och jag såg att det fanns en hel del mexikanska botar, mexikanska konton som påstod att journalister inte hade dödats av narkotikakarteller. Och detta var, som, 2013. Och jag var som, “Gud, du har icke-statliga aktörer, narkotikakarteller, som engagerar sig i den här typen av narrativstrid. Och det ser ut som att de vinner.” Och jag var som, “Detta är inte ens statliga aktörer.” Och vid den punkten sa jag, “Vad händer om en statlig aktör får tag på det här? Vad skulle det se ut som och vad skulle det göra?” Och sedan publicerade jag en artikel i Wired 2015. Det var faktiskt skrivet i slutet av 2014, men det handlade om förutsägelser för 2015. Och jag sa, “Detta kommer att vara året då botar tar över och kontrollerar val.”

Och det blev otroligt profetiskt, eftersom den artikeln kom ut, kanske ännu mer än jag ursprungligen trodde. Men det var bara att se den här sortens teknologi. På samma sätt såg vi också hur rudimentära många av dessa teknologier var. Det var ganska primitivt. Så allt detta började komma samman, och sedan hamnade vi i det här utrymmet som vi nu befinner oss i, vilket är att du kan kontrollera narrativ bara genom upprepad exponering för information från de flöden du konsumerar nu.

Tror du att det har funnits ett val som har påverkats eller att ett framtida val kan påverkas av den här sortens desinformation?

Att ramla tillbaka till det här. Först är vi har tagit en mycket smal måttstock på det här, som att desinformation inte är verkligt. Och jag tycker att det är för smalt. Vi behöver utöka det till vem som kontrollerar narrativ. Just nu kan narrativ mycket väl vara verkligt, men det kanske inte är så viktigt.

Vi kan ta en historia om du är orolig för brott, och vi kan bara massivt sända alla brott till alla kanalerna, och du kommer tillbaka genom det och tro att din stad har gått igenom den värsta brottsvågen den någonsin sett. Och allt du har gjort är att ta varje enskilt brott som någonsin rapporterats, som tidigare inte var på din radar, och satt det i ditt system.

Nu kommer du att börja tro att brottsligheten är mycket högre än den faktiskt är. Den har inte förändrats, men du är mer utsatt för den. Så detta är inte om brottet hände eller inte, det är om det kämpade för din uppmärksamhet. Så detta är en del av det.

Den andra delen av det här är, hur mycket kan du påverka det här? Om du inte har en uppfattning om huruvida vaccin orsakar att du förlorar 37 poäng av din IQ, eller om du inte tidigare hade en tro att vaccin och intelligens var kopplade. Om jag sa till dig att de gjorde det, skulle du nu vara tre gånger mer benägen att tro på det, än om någon kom tillbaka och sa till dig att vaccin orsakade att din IQ sjönk. Så den som kommer in med det första meddelandet har den bästa chansen att du ska tro på det, om du tidigare inte hade någon åsikt om något.

Så är det bias i den mänskliga hjärnan som är sårbar för det här?

Det är bias i den mänskliga hjärnan. Den andra biten, även om du vet att informationen är falsk, om du utsätts för den, är du mer benägen att tro på den, även om du vet att den är falsk. Så det finns en upprepning av information. Det finns den första biten av information när du tidigare inte hade någon åsikt om. Och sedan den andra biten som vi vet, är att om du har det från oberoende källor, litar du på det mer. Och om du har det från personer som är i din vän-nätverk, litar du på det mer, det blir en tillhörighetsmetod. Och vi vet att runt 25% är en tipping-point, om 25% av människor börjar tro på något, skapar det en enorm tipping-point där det sedan blir mycket troligt att 75% eller 80% av människor kommer att börja tro på det.

Så allt detta handlar om världen av åsiktsbildning, och mekanismerna för hur grupper når konsensus. Det finns en undergren av fysik, som är beräkningsfysik, som har studerat det, och du kan gå in i litteraturen och förstå dessa modeller för hur åsikter bildas, sprids och antas.

Du kan konstruera dessa system om du vill, och det är vad människor börjar göra. Jag tror inte att de har varit särskilt sofistikerade. Men titta, Kina är en AI-supermakt. De vet att vinnaren av den kommer att ha en mycket dominant militär fördel över vem som är tvåa i den racen. Så Kina kommer att förfölja komponenterna i artificiell intelligens mycket aggressivt. Den andra delen av det är framträdandet av chip-tillverkning och avancerade GPU:er som Taiwan har. Och jag tror att om Kina tittar på det, och de kunde ha fabrikslaboratorierna, anläggningarna och fonderna i Taiwan, skulle de vara i en mycket, mycket dominant position i en AI-rustning.

Nu, om Kina tar det med våld, finns det en god chans att de slutar förstöra den kapaciteten, eller att den förstörs av Taiwan och ingen har den. Vilket skulle vara bra på något sätt för Kina. Det skulle finnas en enorm global störning, men det skulle inte nödvändigtvis skapa så mycket problem för Kina om det hände.

Men om de kan ta det helt, då är det en enorm fördel för dem. Och sättet att göra det på är som vi har sett i Hongkong, är hur, du vet, “Du är verkligen en del av oss.” Och du övertygar resten av världen om att de är en del av er. Och om du försöker motsätta dig den åsikten eller uppfattningen, då kommer det att finnas ekonomiska eller andra problem. Så, vad Kina är engagerat i är en global påverkansoperation för att övertyga världen om att Taiwan är en del av Kina, för att övertyga taiwaneserna om att de är en del av Kina. Och om de kan göra det, då har Kina kakan och kan äta den också.

Så där kommer vi att se det, är Kina kommer att projicera narrativ information operationer för att övertyga världen om att Taiwan är en del av Kina. Och det erkänns av House Intelligence Committee. Som de har satt ihop sin Intelligence Authorization Act, har de pekat ut, specifikt, metoder för att upptäcka kinesiska påverkansoperationer i Karibien, Sydamerika, Centralamerika.

Det är en specifik utpekning för underrättelssamhället att arbeta med det. Intelligence Authorization Act har också pekat ut möjligheten att anta artificiell intelligens, möjligheten att använda kommersiella av-till-verktyg och möjligheten att distribuera no-code-miljöer till dessa organisationer. Det har funnits några riktigt konstruktiva saker som har kommit från kongressen. Några bitar som är öppna och tillgängliga att läsa, har varit mycket intressanta om att bekämpa kinesiska desinformationskampanjer, särskilt i länder i Sydamerika, Centralamerika och Karibien.

Hur stor roll tror du att rekommendationsmotorer som YouTube, Facebook (META ), Twitter och TikTok har att spela i förstärkningen av den falska berättelsen?

En sak vi vet om Kina är att de stoppade Facebook från att komma in. Facebook gick in i Kina. 2012 var Mark Zuckerberg som, “Jag ska lära mig mandarin. Det handlar allt om Kina.” Kina var som, “Vi låter er komma in och sedan är det adjö.”

För Kina var som, “Till helvetet att vi ska låta ett amerikanskt företag kontrollera informationsflödena för vår befolkning. Vi har jobbat väldigt hårt, tack så mycket, för att kontrollera den information som vår befolkning får. Det är vad vi gör. Vi är väldigt bra på det. Vi låter er komma in, vi lär av er. Men sedan är ni borta.” Så nu är Facebook inte där.

Så Kinas kommunistiska parti tog ett tydligt beslut om hur de ville kontrollera information. Nu, som en auktoritär regim, har du den kontrollen. “Du kommer inte att tänka på dessa idéer. Du kommer inte att säga dessa saker. Du kommer inte att göra det.” Som en liberal demokrati måste vi engagera oss i förmågan att debattera och utbyta idéer i ett relativt fritt och öppet utrymme. Det finns vissa gränser, men de är rätt ute vid kanterna. Så Kina, tror jag, kunde kontrollera information. USA kan inte göra det i samma utsträckning, det finns en demokrati. Vi måste låta informationsflödenas röra sig själv. Vilket är varför vi har blivit sårbara för dessa typer av informationsattacker. Det finns en stor asymmetri i systemet. “Du vill aktivera diskussionsfrihet? Jo, vi kommer att korrumpera det. Du kan inte göra det för oss eftersom vi har mycket bra låsningar av våra informationsystem.”

Jag tror att det är något som vi kommer att brottas med genom det här. Och det första protokollet är att snabbt identifiera om deras informationsoperation pågår på plattformen, varna systemen om det, och åtminstone begränsa spridningen av den informationen, men också, om det finns icke-botnätverk, ta ner dem snabbt. Rekommendationssidan av det… Det har inte, skulle jag säga, använts ondskefullt av amerikanska företag. Jag tror inte att det är där det är. Skulle det kunna användas ondskefullt av ett externt företag? Ja, potentiellt. Om du var i krig med någon, och de hade kontroll över ett informationsnätverk som matade narrativ till din befolkning, skulle du lita på dem för att vara rättvisa och opartiska?

Jo, vi vet redan vad som har hänt med VK och Ryssland, som är det sociala nätverket. De sa, “Jo, du kommer inte att lägga upp några bilder av döda människor som vi har dödat i Ukraina. Det är bara förbjudet. Och vi kommer att sätta upp en informationsvägg för att stoppa spridningen av information från de västra nätverken till våra nätverk.” Så vad händer när en konflikt börjar, är att människor sätter upp barriärer som säger, “Du kommer inte att ha kontrollen över våra befolknings narrativ.”

Så jag tror att det är en lärobokssak, det tog kanske tre eller fyra veckor för VK att göra det. Det fanns ett fönster där jag tror att det var relativt öppet, men sedan stängde de av det, eftersom de insåg att om du inte kontrollerar narrativet i din befolkning, och om du låter dem se de skador som missilerna och attackerna har på den civila befolkningen i Ukraina, kanske de inte vill kämpa längre.

Jag tror att en av de saker som vi alla är förvånade över med Ukraina var hur starkt de kom tillbaka och fram. Och jag tror inte att vi var fel ute på att tro att det kunde ha varit ett mycket snabbt krig, om människor från Ukraina lade ner sina vapen. Men vad som hände var det motsatta. De kom tillbaka in i landet, plockade upp Kalashnikovs och började kämpa. Och det var för att narrativet vände, och det vände på några nyckelsaker. Spöket i Kiev, Ormön, kvinnan med solrosfrön i soldatens fickor och som sa, “När du dör, kommer solrosorna att komma.” Dessa ögonblick, memerna, resoneras genom den befolkningen.

Nu var många av dem inte faktiskt sanna. Eller de var tillverkade. Spöket i Kiev och Ormön överlevde, men de kastades som martyrer som sa, “F*** you,” och dödades. Detta var en informationskrig utmärkt som skapade en kämpande anda, inte bara i Ukraina, utan också i NATO-länderna och USA för att ha ukrainska flaggor flygande runt och säga, “Vi behöver bry oss om det här.” Det behövde inte vara fallet. Det enklaste kriget att vinna är ett där motståndaren inte vill kämpa. Och det var vad ryssarna gjorde, och Putin gjorde, och han var fel. Och han var fel för att vi aldrig hade sett en påverkansoperation som hade kommit tillbaka för att vinna en narrativ krig som vi hade sett med Ukraina tidigare. Och det var utmärkt.

Jag tror att vi underskattar kraften i informationsoperationer. Jag tror att Kina har varit mycket uppmärksamma och jag tror att vi kommer att se det spelas ut. Och vi ser det spelas ut, vad gäller Taiwan, och vad resten av världen tycker om det. Och USA, tror jag, om de vill engagera sig, behöver ha samma uppsättning färdigheter för att bekämpa informationsoperationer.

Finns det några sista ord som du ville dela om Primer?

Vi är engagerade i den här missionen för att hjälpa till att stödja USA och dess allierade att ta med den bästa tekniken till krigarens händer, och jag tror att vi vill ha fler teknikföretag som kommer och ansluter sig till den här kampen.

Tack för den här upplysande intervjun, läsare som vill lära sig mer uppmanas att besöka Primer.