Sean Gourley, CEO & Founder van Primer – Interview Serie

Sean Gourley is de CEO & Founder van Primer, een onderneming die industriële Natural Language Processing (NLP)-toepassingen levert aan overheidsinstanties, financiële instellingen, Fortune 50-bedrijven en vele andere organisaties.

Een van de primaire use cases van Primer is om mensen te helpen bij het detecteren, begrijpen en reageren op desinformatiecampagnes. Om deze diensten te verbeteren, heeft Primer onlangs Yonder overgenomen om hun mogelijkheden om desinformatie-aanvallen te bestrijden te vergroten.

We spraken met Sean over desinformatie op de recente Ai4-conferentie die in Las Vegas werd gehouden. Sean is een schat aan informatie over desinformatiecampagnes en regeringspropaganda. Hieronder vindt u ons interview.

Wat trok je aanvankelijk aan om te leren en het hele desinformatie-ecosysteem te begrijpen?

Ik sprak een beetje over high-frequency trading, en het was interessant. Ik keek door dat alles heen. Er was deze hele ruimte van algoritmes, die probeerden te begrijpen of er iets in de wereld was gebeurd, en dan daarop te handelen. En het was primitief. Dit was terug in 2012, en we pikten ruis op.

Zij kregen dingen verkeerd toen zij het lazen, of verkeerd interpreteerden signalen. En toen kwam er een tweet uit, die beweerde dat AP was gehackt. En hun Twitter-account zei: “Breaking: Witte Huis ontploffing, Barack Obama gewond.” En toen nam de markt die informatie en daalde, verloor ongeveer $130 miljard aan die tweet. Nu weet ik niet of het de bedoeling was om de markt te laten dalen, of het de bedoeling was om chaos te creëren, of het de bedoeling was om iets anders te doen, maar het was gewoon die verbinding terug in die tijd, ik was als: “Wow.” Het is alsof deze vlinder zijn vleugels flapt en deze soort impact creëert, omdat het een set van algoritmische actoren gebruikt die echt niet zo slim zijn.

Ik zag dat, en dat kreeg me ertoe om te graven en toen begon ik te kijken… En ik zag dat er een heleboel Mexicaanse bots, Mexicaanse accounts waren die beweerden dat journalisten niet door drugskartels waren vermoord. En dit is, zeg maar, 2013. En ik was als: “O mijn God, je hebt niet-staatsactoren, drugskartels, die zich in dit soort dingen mengen om een narratieve strijd te creëren. En het lijkt erop dat ze winnen.” En ik was als: “Deze zijn niet eens staatsactoren.” En op dat punt zei ik: “Nou, wat als een staatsactor zijn handen op dit krijgt? Wat zou dat eruit zien en wat zou dat doen?” En toen publiceerde ik een stuk in Wired in 2015. Het was eigenlijk geschreven aan het einde van 2014, maar het ging over voorspellingen voor 2015. En ik zei: “Dit zal het jaar zijn dat bots de verkiezingen gaan controleren.”

En het werd ongelooflijk profetisch, want dat stuk kwam door, misschien nog meer dan ik oorspronkelijk dacht. Maar het was gewoon het zien van deze soort boog van technologie. Aan de andere kant zagen we ook hoe rudimentair veel van deze technologieën waren. Het was best primitief. Dus al dit begon samen te komen, en toen kregen we dit soort ruimte waar we uiteindelijk in terechtkwamen, wat wow, je kunt narratieven controleren door herhaalde blootstelling aan informatie van de feeds die je nu consumeert.

Geloof je dat er een verkiezing is geweest die is beïnvloed of dat een toekomstige verkiezing kan worden beïnvloed door dit soort desinformatie?

Ik kader dit terug in een zin. Ten eerste hebben we een zeer smalle gauge genomen, wat desinformatie niet is. En ik denk dat dat te smal is. We moeten het uitbreiden tot wie de narratieven controleert. Nu kan een narratief heel goed echt zijn, maar het hoeft niet per se belangrijk te zijn.

We kunnen een verhaal nemen als je je zorgen maakt over misdaad, en we kunnen alle misdaad op alle kanalen uitzenden, en je komt terug door dit en denkt dat je stad de ergste misdaadgolf heeft meegemaakt die het ooit heeft gezien. En alles wat je hebt gedaan, is alle misdaad die ooit is gemeld, die eerder niet op je radar stond, in je systeem stoppen.

Je gaat nu geloven dat de misdaad veel hoger is dan het eigenlijk is. Het is niet veranderd, maar je wordt meer blootgesteld aan het. Dus dit is niet of de misdaad al dan niet heeft plaatsgevonden, het is of het heeft gestreden om jouw aandacht. Dus dit is één stuk. We komen vast te zitten in dit of het gebeurd is of niet? Alsof dat de strijd is. Maar de strijd is echt voor mensen’s wereldbeelden. Dus, dat is één kant van het verhaal.

Het tweede deel hiervan is, hoeveel kan je deze dingen beïnvloeden? Nou, als je geen perceptie hebt over of vaccins je 37 punten van IQ doen verliezen, of als je eerder geen geloof had dat vaccins en intelligentie gelinkt waren. Als ik je vertel dat ze dat doen, ben je nu drie keer meer geneigd om dat te geloven, dan als iemand terugkomt en je vertelt dat vaccins je IQ doen dalen. Dus wie er het eerst met een boodschap komt, heeft de beste kans om jouw geloof te behouden, als je eerder geen mening over iets had.

Dus is het vooroordeel in de menselijke hersenen dat kwetsbaar is voor dit?

Het is vooroordeel in de menselijke hersenen. Het tweede deel, zelfs als je weet dat informatie vals is, als je wordt blootgesteld aan het, ben je meer geneigd om het te geloven, zelfs als je weet dat het vals is. Dus er is herhaling van informatie. Er is het eerste stuk informatie wanneer je eerder geen mening over iets had. En dan is er nog een ander deel dat we weten, is als je het van onafhankelijke bronnen krijgt, vertrouw je het meer. En als je het van mensen in je vriendennetwerk krijgt, vertrouw je het meer, het wordt een affiliatiemethode. En we weten dat ongeveer 25% een kantelpunt is, als 25% van de mensen beginnen te geloven, creëert het een enorm kantelpunt waardoor het daarna waarschijnlijk is dat 75% of 80% van de mensen beginnen te geloven.

Alles komt neer op de wereld van meningvorming, en de mechanismen van hoe groepen tot overeenstemming komen. Er is een sub-branch van natuurkunde, dat computationele natuurkunde is, die dit bestudeert, en je kunt in de literatuur gaan en deze modellen begrijpen van hoe meningen worden gevormd, verspreid en aangenomen.

Je kunt deze systemen ontwerpen als je dat wilt, en dat is wat mensen beginnen te doen. Ik denk niet dat ze heel gesofisticeerd zijn. Maar kijk, China is een AI-supermacht. Ze weten dat winnen in informatieoorlogen rondom de dynamiek van Taiwan heel belangrijk is. We moeten verwachten dat ze elke stap zullen zetten die de technologie toelaat, om deel te nemen en te winnen in die strijd.

We weten hoe mensen het slachtoffer worden van dit, maar hoe detecteert een AI de ware waarheid?

We moeten wegkomen van dit idee van wat waar is, en wat ik daarmee bedoel, is dat dit niet over het brengen van feitcontroleurs naar alles gaat. Omdat we zeiden, kijk, een AI kan bepalen dat, ja, deze misdaad heeft plaatsgevonden, maar dat doet er niet toe. Dat is niet het punt. Je gelooft nu dat er een enorme misdaadgolf in je stad is en er moet iets aan gedaan worden. En wat is de ware waarheid over of Taiwan bij China hoort? Ik bedoel, je kunt historisch teruggaan. We kunnen daarover discussiëren, maar weet de AI dat? We weten nu dat het een relatief verdeeld onderwerp is. En de VS en Taiwan hebben geloofstructuren. China heeft een andere geloofstructuur. De taak van de AI is niet om te bepalen wie er gelijk heeft over dat. De taak van de AI is om te bepalen of iemand heeft geprobeerd om je actief te beïnvloeden om de ene of de andere kant te geloven.

En dat is het tweede deel, mensen zullen kunstmatige intelligentie gebruiken om je te proberen te overtuigen, om de ene of de andere kant te geloven, met behulp van methoden om het eerste geloof te krijgen, herhaalde blootstelling aan deze informatie, het krijgen van schijnbaar onafhankelijke stemmen die door komen, het controleren en kiezen van 25% van je invloedsnetwerk om je te laten flippen om de andere kant te geloven. Deze zijn allemaal technieken die AI kan versterken, en AI kan ook verdedigen. Maar we moeten wegkomen van dit idee van kan AI de waarheid bepalen, omdat de waarheid vaak minder belangrijk is dan de strijd om de narratief.

En hoe helpt Primer hierbij?

Primair is het op surveillance en detectie. Een van de dingen die naar voren komen, is dat we in een situatie zitten waarin we voor het eerst over desinformatiecampagnes horen, zes maanden nadat ze hebben plaatsgevonden.

Bedoel je dat we nooit in staat zijn om dit in real-time te detecteren?

Nou, het is niet eens real-time. Het is alsof je in een kinetische situatie zit, raketten zijn op de grens van de VS gelanceerd, en zes maanden later realiseren we ons dat ze op ons zijn afgevuurd. Dat is waar we zijn. We hebben een enorme kloof te overbruggen op het gebied van surveillance en verkenning rondom desinformatie, of informatie-operaties, zoals we ze noemen. Als er een informatie-operatie is uitgevoerd, moeten we real-time, of near real-time, inzicht krijgen in wat dat eruit ziet, wat de motivaties zijn, wat de manipulaties zijn, en dat op een plek zetten waar we kunnen beginnen om die botnetwerken te sluiten of om de verspreiding van die informatie te beperken.

En wat is jouw mening over de uiteindelijke dreiging die China vormt voor de wereld?

Het is een grote vraag voor de wereld. Wat we weten, is dat we in een AI-wapenwedloop zitten met China, omdat de winnaar daarvan een enorme militaire voorsprong zal hebben ten opzichte van degene die op de tweede plaats eindigt in die wedloop. Dus China zal de componenten van kunstmatige intelligentie zeer agressief nastreven. Het tweede deel daarvan is de dominantie van chipfabricage, en geavanceerde GPUs, die Taiwan heeft. En ik denk dat als China daar naar kijkt, en ze de fabricagelaboratoria, faciliteiten en foundries van Taiwan zouden kunnen krijgen, ze in een zeer dominante positie zouden zijn in een AI-wapenwedloop.

Als China dat met geweld neemt, is er een goede kans dat ze die capaciteiten vernietigen, of dat ze door Taiwan worden vernietigd en niemand ze heeft. Dat zou prima zijn voor China. Er zou een enorme globale verstoring zijn, maar het zou niet per se een groot probleem voor China zijn als dat gebeurt.

Maar als ze het intact kunnen nemen, dan is dat een enorm voordeel voor hen. En de manier waarop je dat doet, is zoals we hebben gezien in Hongkong, is hoe, je weet, “Je bent echt deel van ons.” En je overtuigt de rest van de wereld ervan dat ze echt deel van jullie zijn. En als je probeert te weerstaan tegen die overtuiging of mening, dan zullen er economische of andere problemen zijn. Dus wat China doet, is een wereldwijde invloedsoperatie om de wereld te overtuigen dat Taiwan deel van China is, om Taiwanese mensen te overtuigen dat ze deel van China zijn. En als ze dat kunnen doen, dan heeft China de taart en kan het die ook opeten.

Waar we dat gaan zien, is dat China narratieve informatie-operaties gaat projecteren om de wereld te overtuigen dat Taiwan deel van China is. En dit wordt erkend door het Huis van Afgevaardigden van de Intelligence Committee. Ze hebben hun Intelligence Authorization Act samengesteld en hebben specifiek de methoden voor het detecteren van Chinese invloedsoperaties in de Caraïben, Zuid-Amerika, Centraal-Amerika genoemd.

Dat is een specifieke oproep aan de inlichtingengemeenschap om daaraan te werken. De Intelligence Authorization Act noemde ook de mogelijkheid om kunstmatige intelligentie te adopteren, de mogelijkheid om commerciële, van-de-plank technologieën te gebruiken en de mogelijkheid om geen-code-omgevingen in deze organisaties te implementeren. Er zijn enkele echt constructieve dingen vanuit het Congres gekomen. Sommige stukken zijn openbaar en kunnen worden gelezen, en zijn heel interessant over het bestrijden van Chinese desinformatiecampagnes, met name in landen in Zuid-Amerika, Centraal-Amerika en de Caraïben.

Hoe belangrijk denk je dat aanbevelingsmotoren zoals YouTube, Facebook (META ), Twitter en TikTok zijn in de verspreiding van deze valse narratieven?

Iets wat we weten over China, is dat ze Facebook niet binnen lieten komen. Facebook ging naar China. In 2012 was Mark Zuckerberg als: “Ik ga Mandarijn leren. Het gaat allemaal over China.” China was als: “We laten je binnen en nu tot ziens.”

Omdat China als: “Verdomme, we gaan geen Amerikaans bedrijf de informatiefeeds van onze bevolking laten controleren. We hebben hard gewerkt, dank je wel, om de informatie te controleren die onze bevolking krijgt. Dit is wat we doen. We zijn daar heel goed in. We laten je binnen, we leren van je. Maar daarna ben je weg.” Dus Facebook is daar niet meer.

Dus de CCP (Chinese Communistische Partij) heeft een heel duidelijke beslissing genomen over hoe ze de informatie wilden controleren. Nu, als een autoritair regime, heb je die controle. “Je gaat niet deze ideeën denken. Je gaat niet deze dingen zeggen. Je gaat dat niet doen.” Als een liberale democratie, moeten we deelnemen aan de mogelijkheid van debat, en de uitwisseling van ideeën, in een relatief vrije en open ruimte. Er zijn bepaalde grenzen, maar die staan aan de randen. Dus China, denk ik, kon de informatie controleren. De VS kan dat niet in dezelfde mate, er is een democratie. We moeten de vrijheid van discussie toelaten, en de uitwisseling van ideeën, in een relatief vrije en open ruimte.

Ik denk dat dat iets is waar we mee worstelen. En het is een eerste soort protocol, en dat is snel identificeren of er een informatie-operatie op het platform wordt uitgevoerd, waarschuwen dat aan de systemen, minstens is om de diffusie van die informatie te beperken, maar ook, als er geen botnetwerken zijn, ze snel afbreken. De aanbevelingskant van dit… Dit is, denk ik, nog niet kwaadwillig door Amerikaanse bedrijven gebruikt. Ik denk niet dat dat waar het is. Kan het kwaadwillig door een extern bedrijf worden gebruikt? Ja, potentieel. Als je in oorlog bent met iemand, en ze hebben de controle over een informatienetwerk dat narratieven aan jouw bevolking voedt, zou je ze vertrouwen om eerlijk en onbevooroordeeld te zijn?

Nou, we weten al wat er is gebeurd met VK en Rusland, wat het sociale netwerk is. Ze zeiden: “Nou, je gaat geen afbeeldingen van dode mensen die we in Oekraïne hebben gedood, plaatsen. Dat is verboden. En we gaan een informatie-muur opzetten om de diffusie van informatie van de westerse netwerken naar onze netwerken te stoppen.” Dus wat gebeurt er als een conflict begint, is dat mensen barrières opwerpen die zeggen: “Je gaat geen invloed hebben op onze bevolking.”

Ik denk dat het standaardding is, het duurde misschien drie of vier weken voor VK om dat te doen. Er was een venster waarin ik denk dat het relatief open was, maar toen sloten ze het af, omdat ze realiseerden dat als je de narratief niet controleert in jouw bevolking, en als je ze laat zien wat de schade is die de raketten en aanvallen op de burgerbevolking in Oekraïne hebben, misschien willen ze niet meer vechten.

Ik denk dat een van de dingen waar we allemaal van opkijken met Oekraïne, is hoe sterk ze terugkwamen en vochten. En ik denk niet dat we verkeerd waren om te denken dat het een heel snelle oorlog kon zijn, als mensen uit Oekraïne hun geweren neerlegden. Maar wat gebeurde, was het tegenovergestelde. Ze kwamen terug in het land, pakten de Kalashnikovs en begonnen te vechten. En dat was omdat de narratief omsloeg, en het omsloeg op enkele belangrijke dingen. Het spook van Kiev, Snake Island, de vrouw met de zonnebloempitjes in de zakken van de soldaat en zeggend: “Wanneer je sterft, zullen de zonnebloemen komen.” Deze momenten, de memes, resoneren door die bevolking.

Nu waren veel van deze niet echt waar. Of ze waren gemanipuleerd. Het spook van Kiev en Snake Island was versterkt. Ze overleefden, maar ze werden als martelaren gezien die zeiden: “F*** you,” en werden gedood. Dit was een informatieve oorlog par excellence die een gevechtsspirit creëerde, niet alleen in Oekraïne, maar ook in de NAVO-lidstaten en de VS om Oekraïne-vlaggen te laten wapperen en te zeggen: “We moeten ons zorgen maken over dit.” Dat hoefde niet het geval te zijn. De gemakkelijkste oorlog om te winnen, is een waarin de oppositie niet wil vechten. En dat was de weddenschap en de gok die de Russen maakten, en Poetin maakte, en hij had ongelijk. En hij had ongelijk, omdat we nooit eerder een invloedsoperatie hadden gezien die een narratieve oorlog had gewonnen zoals we met Oekraïne hadden gezien. En het was excellent.

Ik denk dat we de kracht van informatie-operaties onderschatten. Ik denk dat China daar heel goed naar heeft gekeken en ik denk dat we dat gaan zien. En we zien het al, met betrekking tot Taiwan, en wat de rest van de wereld denkt over dat. En de VS, denk ik, als ze willen deelnemen, moeten ze dezelfde set vaardigheden hebben om informatie-operaties te bestrijden.

Zijn er nog laatste woorden die je wilt delen over Primer?

We zijn betrokken bij deze missie om de VS en hun bondgenoten te helpen de beste technologie te brengen om in de handen van de strijders te leggen, en ik denk dat we meer technologiebedrijven willen die zich bij deze strijd aansluiten.

Bedankt voor dit verhelderende interview, lezers die meer willen leren, worden aangemoedigd om Primer te bezoeken.