Sean Gourley, VD & Grundare av Primer – Intervju-serie

Sean Gourley är VD och grundare av Primer, ett företag som tillhandahåller industriella tillämpningar av Natural Language Processing (NLP) för regeringsorgan, finansiella institutioner, företag på Fortune 50-listan och många andra organisationer.

En av de primära användningsområdena för Primer är att hjälpa människor att upptäcka, förstå och svara på desinformationskampanjer. I ett försök att förbättra dessa tjänster har Primer nyligen förvärvat Yonder för att förbättra sin förmåga att bekämpa desinformationsattacker.

Vi satte oss ner med Sean för att diskutera desinformation på den nyligen hållna Ai4-konferensen som hölls i Las Vegas. Sean är en skattkista av information om desinformationskampanjer och regeringspropaganda. Här är vår intervju.

Vad var det som initialt drog dig till att lära dig och förstå hela desinformationsekosystemet?

Jag pratade lite om högfrekvenshandel, och det var intressant. Jag tittade igenom det. Det fanns det här utrymmet av algoritmer som försökte förstå om något hade hänt i världen, och sedan handla med det. Och det var primitivt. Detta var 2012, och vi plockade upp brus.

De fick saker fel när de läste det, eller missförstod signaler. Och sedan kom det ett tweet som sa, “Breaking: Vit hus-explosion, Barack Obama skadad.” Och sedan föll marknaden när den fick den informationen och förlorade cirka 130 miljarder dollar på det tweetet. Nu vet jag inte om det var avsett att driva en marknad, om det var avsett att skapa kaos, eller om det var avsett att göra något, men det var bara den där kopplingen tillbaka på den tiden, jag var som, “Wow.” Det är som att en fjäril flaxar med vingarna och skapar den här sortens påverkan, eftersom det utnyttjar uppsättningen algoritmiska aktörer som verkligen inte är så smarta.

Så jag såg det, och det fick mig att gräva djupare och sedan började jag titta… Och jag såg att det fanns en hel del mexikanska botar, mexikanska konton som påstod att journalister inte hade dödats av narkotikakarteller. Och detta var, typ, 2013. Och jag var som, “Herregud, du har icke-statliga aktörer, narkotikakarteller, som engagerar sig i det här för att skapa en narrativ strid. Och det ser ut som att de vinner.” Och jag var som, “Detta är inte ens statliga aktörer.” Och vid den tidpunkten sa jag, “Vad händer om en statlig aktör får tag på det här? Vad skulle det se ut som och vad skulle det göra?” Och sedan publicerade jag en artikel i Wired 2015. Det var faktiskt skrivet i slutet av 2014, men det handlade om förutsägelser för 2015. Och jag sa, “Detta kommer att vara året då botar tar över och kontrollerar val.”

Och det blev otroligt profetiskt när den artikeln kom ut, kanske till och med mer än jag ursprungligen trodde. Men det var bara att se den här kurvan av teknologi. På samma sätt såg vi också hur rudimentära många av dessa teknologier var. Det var ganska primitivt. Så allt detta började komma samman, och sedan hamnade vi i det här utrymmet som vi nu är i, som är, wow, du kan kontrollera berättelser bara genom upprepad exponering för information från de flöden du konsumerar nu.

Tror du att det har funnits ett val som har påverkats eller att ett framtida val kan påverkas av den här sortens desinformation?

Att ramla in i det här. Först är vi har tagit en ganska smal mätning på det här, som är desinformation är inte verkligt. Och jag tycker att det är för smalt. Vi behöver expandera det till vem som kontrollerar berättelser. Just nu kan berättelsen mycket väl vara verklig, men den kanske inte är så viktig.

Vi kan ta en historia om du är orolig för brott, och vi kan bara massivt sända alla brott till alla kanaler, och du kommer tillbaka genom det och tro att din stad har gått igenom den värsta brottsvågen den någonsin sett. Och allt du har gjort är att ta alla brott som någonsin rapporterats, som tidigare inte var på din radar, och sätta det i ditt system.

Nu kommer du att börja tro att brottsligheten är mycket högre än den faktiskt är. Den har inte förändrats, men du är mer exponerad för det. Så detta är inte om brottet hände eller inte. Det är om det kämpade för din uppmärksamhet. Så detta är en bit. Vi fastnar i det här, om det hände eller inte. Som om det vore striden. Men striden är verkligen för människors världsbilder. Så, det är en sida av det.

Den andra biten av det här är, hur mycket kan du påverka det här? Jo, om du inte har en uppfattning om huruvida vacciner orsakar att du förlorar 37 poäng i IQ, eller om du inte tidigare hade en tro att vacciner och intelligens var kopplade. Om jag sa till dig att de gjorde det, skulle du nu vara tre gånger mer benägen att tro på det, än om någon kom tillbaka och sa till dig att vacciner orsakade att ditt IQ sjönk. Så den som kommer in med det första meddelandet har den bästa chansen att du håller den tron, om du tidigare inte har en åsikt om något.

Så är det bias i den mänskliga hjärnan som är sårbar för det här?

Det är bias i den mänskliga hjärnan. Den andra biten, även om du vet att informationen är falsk, om du exponeras för den, är du mer benägen att tro på den, även om du vet att den är falsk. Så det finns den här upprepningen av information. Det finns det första stycket information när du tidigare inte hade någon åsikt om det. Och sedan den andra biten som vi vet, är att om du har det från oberoende källor, litar du på det mer. Och om du har det från människor som är i din vän-nätverk, litar du på det mer, det blir en tillhörighetsmetod. Och vi vet att runt 25% är en vändpunkt, om 25% av människor börjar tro på något, skapar det en enorm vändpunkt där det sedan blir mycket troligt att 75% eller 80% av människor kommer att börja tro på det.

Så allt detta handlar om världen av åsiktsbildning, och mekanismerna för hur grupper når konsensus. Det finns en undergren av fysik, som är beräkningsfysik, som har studerat det, och du kan gå in i litteraturen och förstå dessa modeller för hur åsikter bildas, sprids och antas.

Du kan konstruera dessa system om du vill, och det är vad människor börjar göra. Jag tycker inte att de har varit särskilt sofistikerade. Men titta, Kina är en AI-supermakt. De vet att den som vinner den är den som kommer att ha en mycket dominant militär fördel gentemot den som är tvåa i den racen. Så Kina kommer att följa komponenterna i artificiell intelligens mycket aggressivt. Den andra biten av det är framträdandet av chip-tillverkning, och avancerade GPUs som Taiwan har. Och jag tycker att om Kina tittar på det, och de kunde ha fabrikslaboratorierna, anläggningarna och grundningsanläggningarna i Taiwan, skulle de vara i en mycket dominant position i en AI-race.

Nu, om Kina tar det med våld, finns det en stor chans att de förstör de förmågorna, eller att de förstörs av Taiwan och ingen har dem. Vilket vore bra på något sätt för Kina. Det skulle finnas en enorm global störning, men det skulle inte nödvändigtvis skapa så mycket problem för Kina om det hände.

Men om de kan ta det helt, då är det en enorm fördel för dem. Och sättet att göra det på är som vi har sett i Hongkong, är hur, du vet, “Du är verkligen en del av oss.” Och du övertygar resten av världen om att de är en del av er. Och om du försöker gå emot den tron eller åsikten, då kommer det att finnas ekonomiska eller andra problem. Så, det som Kina är engagerat i är en global påverkansoperation för att övertyga världen om att Taiwan är en del av Kina, för att övertyga taiwaneserna om att de är en del av Kina. Och om de kan göra det, då har Kina kakan och kan äta den också.

Så där kommer vi att se det, är Kina kommer att projicera narrativa informationsoperationer för att övertyga världen om att Taiwan är en del av Kina. Och det erkänns av representanthusets underrättelsekommitté. De har satt ihop sin underrättelseauktoriseringslag, och de har pekat ut, specifikt, metoder för att upptäcka kinesiska påverkansoperationer i Karibien, Sydamerika, Centralamerika.

Det är en specifik utpekning för underrättelsgemenskapen att arbeta med det. Underrättelseauktoriseringslagen pekar också ut möjligheten att anta artificiell intelligens, möjligheten att använda kommersiella av-till-verktyg, och möjligheten att distribuera miljöer utan kod till dessa organisationer. Det har funnits några riktigt konstruktiva saker som har kommit från kongressen. Några bitar som är öppna och tillgängliga att läsa har varit mycket intressanta om att bekämpa kinesiska desinformationskampanjer, särskilt i länder i Sydamerika, Centralamerika och Karibien.

Hur stor roll tror du att rekommendationssystem som YouTube, Facebook, Twitter och TikTok har att spela i förstärkningen av den falska berättelsen?

En sak vi vet om Kina är att de stoppade Facebook från att komma in. Facebook gick in i Kina. 2012 var Mark Zuckerberg som, “Jag ska lära mig mandarin. Det handlar om Kina.” Kina var som, “Vi låter er komma in och sedan är det adjö.”

Eftersom Kina var som, “Tack så mycket, men vi kommer inte att låta ett amerikanskt företag kontrollera informationsflödena för vår befolkning. Vi har jobbat mycket hårt för att kontrollera den information som vår befolkning får. Det är vad vi gör. Vi är mycket bra på det. Vi låter er komma in, vi lär av er. Men sedan är ni borta.” Så nu är Facebook inte där.

Så KKP (Kinesiska kommunistpartiet) tog ett mycket tydligt beslut om hur de ville kontrollera information. Nu, som en auktoritär regim, har du den kontrollen. “Du kommer inte att tänka på dessa idéer. Du kommer inte att säga dessa saker. Du kommer inte att göra det.” Som en liberal demokrati måste vi engagera oss i förmågan att debattera och utbyta idéer i ett relativt fritt och öppet utrymme. Det finns vissa begränsningar, men de är rätt på kanterna. Så Kina, tycker jag, kunde kontrollera information. USA kan inte på samma sätt, det finns en demokrati. Vi måste låta informationsflödenas röra sig fritt. Vilket är varför vi har blivit sårbara för den här sortens informationsattacker. Det finns en stor asymmetri i systemet. “Du vill möjliggöra fri diskussion? Jo, vi kommer att korrumpera det. Du kan inte göra det mot oss, för vi har mycket bra lås på våra informationsystem.”

Jag tycker att det är något som vi kommer att brottas med genom det här. Och det första protokollet är att snabbt identifiera om deras informationsoperation körs på plattformen, varna systemen om det, och åtminstone begränsa spridningen av den informationen, men också, om det finns icke-botnätverk, ta ner dem snabbt. Rekommendationssidan av det här… Det har inte, skulle jag säga, använts ondskefullt av amerikanska företag. Jag tycker inte att det är där det är. Kan det användas ondskefullt av ett externt företag? Ja, potentiellt. Om du var i krig med någon, och de hade kontroll över ett informationsnätverk som matade berättelser till din befolkning, skulle du lita på att de var rättvisa och opartiska?

Jo, vi vet redan vad som har hänt med VK och Ryssland, som är det sociala nätverket. De sa, “Jo, du kommer inte att lägga upp några bilder på döda människor som vi har dödat i Ukraina. Det är bara förbjudet. Och vi kommer att sätta upp en informationsvägg för att stoppa spridningen av information från västliga nätverk till våra nätverk.” Så vad händer när en konflikt börjar, är att människor sätter upp barriärer som säger, “Du kommer inte att ha kontrollen över vår befolknings påverkan.”

Så jag tycker att det är en lärobokssak, det tog kanske tre eller fyra veckor för VK att göra det. Det fanns ett fönster där jag tycker att det var ganska öppet, men sedan stängde de det, för de insåg att om du inte kontrollerar berättelsen i din befolkning, och om du låter dem se skadorna som missilerna och attackerna har på den civila befolkningen i Ukraina, kanske de inte vill kämpa längre.

Jag tycker att en av de saker som vi alla är förvånade över med Ukraina var hur starkt de kom tillbaka och fram. Och jag tycker inte att vi var fel ute på att tro att det kunde ha varit ett mycket snabbt krig, om människor i Ukraina lade ner vapnen. Men vad som hände var det motsatta. De kom tillbaka in i landet, plockade upp Kalashnikovs och började kämpa. Och det var för att berättelsen vände, och den vände på några nyckelsaker. Spöket i Kiev, Ormen på ön, kvinnan med solrosfrön i soldatens ficka och som sa, “När du dör, kommer solrosorna att komma.” Dessa ögonblick, memerna, de resoneras genom den befolkningen.

Nu var många av dem inte ens sanna. Eller de var tillverkade. Spöket i Kiev och Ormen på ön förstärktes. De överlevde, men de porträtterades som martyrer som sa, “Förbannat” och blev dödade. Det var en informationskrig förträffligt som skapade en kämpande anda, inte bara i Ukraina, utan också i NATO-länderna och USA för att ha ukrainska flaggor flygande och säga, “Vi måste bry oss om det här.” Det behövde inte vara fallet. Det enklaste kriget att vinna är det där motståndaren inte vill kämpa. Och det var vad Ryssland och Putin gjorde, och de var fel. Och de var fel för att vi aldrig hade sett en påverkansoperation som hade kommit tillbaka för att vinna en narrativ krig som vi hade sett med Ukraina tidigare. Och det var utmärkt.

Jag tycker att vi underskattar kraften i informationsoperationer. Jag tycker att Kina har varit mycket uppmärksamma och jag tycker att vi kommer att se det spelas ut. Och vi ser det spelas ut, vad gäller Taiwan, och vad resten av världen tycker om det. Och USA, tycker jag, om de vill engagera sig, behöver ha samma uppsättning färdigheter för att bekämpa informationsoperationer.

Finns det några sista ord som du ville dela om Primer?

Vi är engagerade i den här uppdraget att hjälpa USA och dess allierade att ta fram den bästa tekniken för att sätta i händerna på stridskrafterna, och jag tycker att vi vill ha fler teknologiföretag som kommer och går med i den här kampen.

<Tack för den här upplysande intervjun, läsare som vill lära sig mer uppmanas att besöka Primer.>