Sean Gourley, CEO og grunnlegger av Primer – Intervju-serie

Sean Gourley er CEO og grunnlegger av Primer, et foretak som tilbyr industrigrade Natural Language Processing (NLP)-applikasjoner for regjeringer, finansielle institusjoner, Fortune 50-selskaper og mange andre organisasjoner.

En av de primære bruksområdene for Primer er å hjelpe mennesker med å oppdage, forstå og reagere på desinformasjonskampanjer. For å forbedre disse tjenestene har Primer nylig kjøpt opp Yonder for å forbedre evnen til å bekjempe desinformasjonsangrep.

Vi satte oss ned med Sean for å diskutere desinformasjon på den nylige Ai4-konferansen som ble holdt i Las Vegas. Sean er en skattkiste av informasjon om desinformasjonskampanjer og regjeringspropaganda. Under er vårt intervju.

Hva var det som først tiltalte deg til å lære og forstå hele desinformasjonsøkosystemet?

Jeg snakket litt om høyfrekvenshandel, og det var interessant. Jeg så gjennom det hele og det var et rom med algoritmer som prøvde å forstå om noe hadde skjedd i verden, og deretter handle på det. Og det var primitivt. Dette var tilbake i 2012, og vi plukket opp støy.

De fikk ting feil når de leste det, eller misforstod signaler. Og deretter kom det en tweet som sa, “Breaking: Eksplosjon i Det hvite hus, Barack Obama skadet.” Og deretter tok markedet den informasjonen og falt, tapte om lag 130 milliarder dollar på den tweeten. Nå vet jeg ikke om det var ment å drive markedet, om det var ment å skape kaos, eller om det var ment å gjøre noe, men det var bare den tilkoblingen tilbake på den tiden, jeg var som, “Wow.” Det er som en sommerfugl som flapper vingene og skaper en slik effekt, fordi det utnytter settet av algoritmiske aktører som ikke er særlig smarte.

Jeg så det, og det fikk meg til å grave dyptere og så begynte jeg å se… Og jeg så at det var en hel del meksikanske boter, meksikanske kontoer som hevdet at journalister ikke var drept av narkotikakarteller. Og dette er, som, 2013. Og jeg var som, “Gud bevare, du har ikke-statlige aktører, narkotikakarteller, som engasjerer seg i denne typen narrativkamp. Og det ser ut til at de vinner.” Og jeg var som, “Disse er ikke engang statlige aktører.” Og på det tidspunkt sa jeg, “Hva hvis en statlig aktør får tak i dette? Hva ville det se ut som og hva ville det gjøre?” Og deretter publiserte jeg en artikkel i Wired i 2015. Det var faktisk skrevet ved slutten av 2014, men det var om forutsigelser for 2015. Og jeg sa, “Dette vil være året da boter tar over og kontrollerer valg.”

Og det ble usedvanlig profetisk da artikkelen kom ut, kanskje enda mer enn jeg opprinnelig trodde. Men det var bare å se denne typen bue av teknologi. På samme side så vi også hvor rudimentære mange av disse teknologiene var. Det var ganske primitivt. Så alt dette begynte å komme sammen, og deretter fikk vi denne typen rom som vi endte opp i, som er wow, du kan kontrollere narrativer bare gjennom gjentakende eksponering for informasjon fra feedene du forbruker nå.

Tror du at det har vært et valg som har blitt påvirket eller at et fremtidig valg kan bli påvirket av denne typen desinformasjon?

Rammeverk dette tilbake i en sammenheng her. Først er vi har tatt en ganske smal måte å se på dette, som er desinformasjon ikke er ekte. Og jeg tror det er for smalt. Vi må utvide det til hvem som kontrollerer narrativer. Nå er narrativen kan veldig godt være ekte, men den kan ikke være så viktig.

Vi kan ta en historie hvis du er bekymret for kriminalitet, og vi kan bare kringkaste alle kriminalitetsrapportene til alle kanalene, og du kommer tilbake gjennom dette og tro at din by har gått gjennom den verste kriminalitetsbølgen den noensinne har sett. Og alt du har gjort er å ta alle kriminalitetsrapportene som noen gang har vært rapportert, som tidligere ikke var på din radar, og putte dem inn i ditt system.

Nå kommer du til å begynne å tro at kriminaliteten er mye høyere enn den faktisk er. Den har ikke endret seg, men du er mer utsatt for den. Så dette er ikke om det skjedde eller ikke, det er om det kjempet for din oppmerksomhet. Så dette er ett stykke. Vi blir fanget i dette om det skjedde eller ikke? Som om det er slaget. Men slaget er virkelig for menneskers verdensbilder. Så, det er en side av det.

Det andre stykket her er, hvor mye kan du påvirke dette? Vel, hvis du ikke har en oppfatning av om vaksiner fører til at du mister 37 poeng i IQ, eller hvis du ikke tidligere hadde en tro på at vaksiner og intelligens var koblet. Hvis jeg fortalte deg at de gjorde, ville du nå være tre ganger mer sannsynlig til å tro på det, enn hvis noen kom tilbake og fortalte deg at vaksiner fører til at du mister IQ. Så hvem som kommer inn med den første meldingen, har den beste sjansen til å få deg til å tro på det, hvis du tidligere ikke har en mening om noe.

Så er det fordommer i hjernen som er sårbare for dette?

Det er fordommer i hjernen. Det andre stykket, selv om du vet informasjon er feil, hvis du er utsatt for den, er du mer sannsynlig til å tro på den, selv om du vet den er feil. Så det er gjentakelse av informasjon. Det er den første informasjonen når du tidligere ikke hadde noen mening om. Og det andre stykket vi vet, er hvis du har det fra uavhengige kilder, stoler du på det mer. Og hvis du har det fra mennesker som er i din vennegjeng, stoler du på det mer, det blir en tilhørighetsmetodologi. Og vi vet at rundt 25% er et vendepunkt, hvis 25% av menneskene begynner å tro på noe, skaper det et massivt vendepunkt hvor det deretter blir svært sannsynlig at 75% eller 80% av menneskene kommer til å tro på det.

Så alt dette kommer ned til verden av meningsskapning, og mekanismene for hvordan grupper kommer til enighet. Det er en undergren av fysikk, som er komputasjonsfysikk, som har studert dette, og du kan gå inn i litteraturen og forstå disse modellene av hvordan meninger formas, sprer seg og tas i bruk.

Du kan konstruere disse systemene hvis du ønsker, og dette er hva folk begynner å gjøre. Jeg tror ikke de har vært særlig sofistikerte. Men se, Kina er en AI-supermakt. De vet at vinneren av denne vil ha en svært dominant militær fordel over hvem som er på andre plass i den løpet. Så Kina vil forfølge komponentene av kunstig intelligens svært aggressivt. Det andre stykket er prominensen av chip-fabrikasjon, og avanserte GPU-er som Taiwan har. Og jeg tror at hvis Kina ser på det, og de kunne ha fabrikklaboratoriene, anleggene og fondene til Taiwan, ville de være i en svært dominant posisjon i en AI-våpenkappløp.

Nå, hvis Kina tar det med makt, er det en god sjanse til at de ødelegger disse evnene, eller at de ødelegges av Taiwan og ingen har dem. Hvordan ville det være fint på et visst nivå for Kina. Det ville være en stor forstyrrelse globalt, men det ville ikke nødvendigvis skape så mye av et problem for Kina hvis det skjedde.

Men hvis de kan ta det hele, da er det en massiv fordel for dem. Og måten du gjør det på er som vi har sett i Hongkong, er hvordan, du vet, “Du er virkelig en del av oss.” Og du overbeviser resten av verden om at de er en del av oss. Og hvis du prøver å motsette deg den troen eller meningen, da vil det være økonomiske eller andre problemer. Så, hva Kina er engasjert i, er en global påvirkningsoperasjon for å overbevise verden om at Taiwan er en del av Kina, å overbevise taiwanesiske mennesker om at de er en del av Kina. Og hvis de kan gjøre det, da har Kina kaken og kan spise den også.

Så hvor vi kommer til å se det, er Kina vil projicere narrative påvirkningsoperasjoner for å overbevise verden om at Taiwan er en del av Kina. Og dette blir erkjent av Representantenes hus Intelligenskomité. De har satt sammen sin Intelligence Authorization Act, og de har kalt ut spesifikke metoder for å oppdage kinesiske påvirkningsoperasjoner i Karibia, Sør-Amerika og Sentral-Amerika.

Det er en spesifikk opropping til etterretningsfellesskapet til å jobbe med dette. Intelligence Authorization Act har også kalt ut evnen til å adoptere kunstig intelligens, evnen til å bruke kommersielle, ferdige teknologier, og evnen til å deployere ingen-kode-miljøer i disse organisasjonene. Det har vært noen virkelig konstruktive ting som kommer fra Kongressen. Noen stykker er åpne og tilgjengelige for å lese, har vært svært interessante om å bekjempe kinesiske desinformasjonskampanjer, spesielt i land i Sør-Amerika, Sentral-Amerika og Karibia.

Hvor stor rolle tror du at anbefalingsmotorer som YouTube, Facebook (META ), Twitter og TikTok har i forsterkningen av denne feilnarrativen?

En ting vi vet om Kina er at de stoppet Facebook fra å komme inn. Facebook gikk inn i Kina. I 2012 var Mark Zuckerberg som, “Jeg skal lære mandarin. Det handler om Kina.” Kina var som, “Vi lar deg inn og nå farvel.”

Fordi Kina var som, “Til helvete at vi skal la en amerikansk bedrift kontrollere informasjonsstrømmene til vår befolkning. Vi har jobbet svært hardt, takk, for å kontrollere informasjonen som vår befolkning får. Dette er hva vi gjør. Vi er svært gode til det. Vi lar deg inn, vi lærer av deg. Men etter det, er du borte.” Så nå er Facebook ikke der.

Så Kinas kommunistparti tok en svært tydelig beslutning om hvordan de ville kontrollere informasjon. Nå, som en autoritær regime, har du den kontrollen. “Du får ikke tenke disse idéene. Du får ikke si disse tingene. Du får ikke gjøre det.” Som en liberal demokrati, må vi engasjere i evnen til debatt og utveksling av idéer i et relativt fritt og åpent rom. Det er visse begrensninger, men de er rett på kanten. Så Kina, tror jeg, var i stand til å kontrollere informasjon. USA kan ikke det samme omfang, det er en demokrati. Vi må la informasjonskaoset kjempe seg selv ut. Hvilket er hvorfor vi har blitt sårbare for disse typene informasjonsangrep. Det er en stor asymmetri i systemet. “Du ønsker å aktivere diskusjon? Vel, vi skal korruptere det. Du kan ikke gjøre det mot oss fordi vi har en svært god lås på våre informasjonssystemer.”

Jeg tror det er noe vi kommer til å kjempe med gjennom dette. Og det er først en type protokoll, og det er å identifisere raskt om deres informasjonsoperasjon kjøres på plattformen, varsle det til systemene, og minst er å begrense spredningen av den informasjonen, men også, hvis det er ikke-bot-nettverk, ta dem ned raskt. Anbefalingsiden av dette… Dette har, jeg ville si, ikke blitt brukt ondsinnet av amerikanske selskaper. Jeg tror ikke det er der det er. Kan det bli brukt ondsinnet av en ekstern bedrift? Ja, potensielt. Hvis du var i krig med noen, og de hadde kontroll over et informasjonsnettverk som matet narrativer til din befolkning, ville du stole på dem til å være rettferdige og upartiske?

Vel, vi vet allerede hva som har skjedd med VK og Russland, som er det sosiale nettverket. De sa, “Vel, du får ikke plassere bilder av døde mennesker som vi har drept i Ukraina. Det er bare forbudt. Og vi skal sette opp en informasjonsmur for å stoppe spredningen av informasjon fra vestlige nettverk inn i våre nettverk.” Så hva skjer når en konflikt starter, er folk setter opp barrierer som sier, “Du får ikke ha kontroll over vår befolknings påvirkning.”

Jeg tror det er en lærebok-ting, det tok kanskje tre eller fire uker for VK å gjøre det. Det var et vindu hvor jeg tror det var relativt åpent, men deretter stengte de det ned, fordi de innser at hvis du ikke kontrollerer narrativen i din befolkning, og hvis du lar dem se skadene som missilene og angrepene har på den sivile befolkningen i Ukraina, kanskje de ikke vil kjempe lenger.

Jeg tror en av tingene vi alle er overrasket over med Ukraina var hvor sterk de kom tilbake og frem. Og jeg tror ikke vi var feil i å tro at det kunne ha vært en svært rask krig, hvis folk fra Ukraina la ned våpnene. Men hva skjedde var det motsatte. De kom tilbake i landet, plukket opp Kalashnikovene og begynte å kjempe. Og det var fordi narrativen snudde, og det snudde på noen nøkkelting. Spøkelset i Kiev, Slangeøya, kvinnen med solsikkefrøene i lommene til soldaten og sa, “Når du dør, kommer solsikken opp.” Disse øyeblikkene, memene, resonerte gjennom den befolkningen.

Nå var mange av dem ikke faktisk sanne. Eller de var fabrikkert. Spøkelset i Kiev og Slangeøya var forsterket. De overlevde, men de ble kastet som martyrer som sa, “F*** deg,” og ble drept. Dette var en informasjonskrig par excellence som skapte en kampånd, ikke bare i Ukraina, men også i NATO-landene og USA til å ha ukrainske flagg flagrende rundt og si, “Vi må bry oss om dette.” Det trengte ikke å være tilfelle. Den enkleste krigen å vinne er en hvor motstanden ikke vil kjempe. Og det var veddemålet og spillet som russerne gjorde, og Putin gjorde, og han var feil. Og han var feil fordi vi aldri hadde sett en påvirkningsoperasjon som hadde kommet tilbake for å vinne en narrativ krig som vi hadde sett med Ukraina før. Og det var utmerket.

Jeg tror vi undervurderer kraften av informasjonsoperasjoner. Jeg tror Kina har vært svært oppmerksomme på det, og jeg tror vi kommer til å se det spille ut. Og vi ser det spille ut, i forhold til Taiwan, og hva resten av verden tenker om det. Og USA, tror jeg, hvis de ønsker å engasjere, må de ha samme sett med ferdigheter til å bekjempe informasjonsoperasjoner.

Er det noen siste ord du ønsker å dele om Primer?

Vi er engasjert i denne oppgaven for å hjelpe å støtte USA og dets allierte til å bringe den beste teknologien til å plassere i krigerens hender, og jeg tror vi ønsker flere teknologiselskaper til å komme og slutte seg til denne kampen.

Takk for dette opplysende intervjuet, lesere som ønsker å lære mer, oppfordres til å besøke Primer.