Sean Gourley, CEO & Fondatore di Primer – Serie di Interviste

Sean Gourley è il CEO & Fondatore di Primer, un’azienda che fornisce applicazioni di elaborazione del linguaggio naturale (NLP) di livello industriale per agenzie governative, istituzioni finanziarie, aziende Fortune 50 e molte altre organizzazioni.

Uno degli utilizzi principali di Primer è aiutare le persone a rilevare, comprendere e rispondere alle campagne di disinformazione. Per migliorare questi servizi, Primer ha recentemente acquisito Yonder per potenziare la sua capacità di combattere gli attacchi di disinformazione.

Ci siamo seduti con Sean per discutere della disinformazione alla recente conferenza Ai4 che si è svolta a Las Vegas. Sean è un vero e proprio tesoro di informazioni riguardanti le campagne di disinformazione e la propaganda governativa. Di seguito è riportata la nostra intervista.

Cosa ti ha inizialmente attirato a imparare e comprendere l’intero ecosistema della disinformazione?

Ho parlato un po’ di trading ad alta frequenza e mi interessava. Stavo esaminando quello spazio di algoritmi che cercavano di capire se qualcosa era successo nel mondo e poi commerciarlo. E tutto ciò era primitivo. Questo era nel 2012 e stavamo raccogliendo rumore.

Stavano sbagliando quando lo leggevano o fraintendevano i segnali. E poi c’è stato un tweet che è uscito, apparentemente AP era stato hackerato. E il loro account Twitter ha detto: “Breaking: esplosione alla Casa Bianca, Barack Obama ferito”. E poi il mercato ha preso quelle informazioni e è sceso, perdendo circa 130 miliardi di dollari con quel tweet. Ora non so se fosse destinato a guidare il mercato, se fosse destinato solo a creare caos o se fosse destinato a fare qualcosa, ma è stato solo quel collegamento all’epoca, ero come: “Wow”. È come se una farfalla battesse le ali e creasse quell’impatto, perché stava sfruttando l’insieme di attori algoritmici che non erano poi così intelligenti.

Ho visto ciò e mi ha fatto scavare e poi ho iniziato a guardare… E ho visto che c’era un sacco di bot messicani, account messicani che affermavano che i giornalisti non erano stati uccisi dai cartelli della droga. E questo è stato nel 2013. E io ero come: “Oh mio Dio, hai attori non statali, cartelli della droga, impegnati in questa cosa per creare una battaglia di narrazione. E sembra che stiano vincendo”. E io ero come: “Questi non sono nemmeno attori statali”. E a quel punto ho detto: “Ebbene, cosa succederebbe se un attore statale si impadronisse di questo? Cosa sarebbe e cosa farebbe?” E poi ho pubblicato un pezzo su Wired nel 2015. Era stato scritto alla fine del 2014, ma riguardava le previsioni per il 2015. E ho detto: “Questo sarà l’anno in cui i bot prenderanno il controllo e controlleranno le elezioni”.

E ciò è diventato incredibilmente preveggente, poiché quel pezzo è passato, forse ancora più di quanto avessi originariamente pensato. Ma è stato solo vedere quell’arco di tecnologia. Sull’altro lato, stavamo anche vedendo quanto fossero rudimentali molte di quelle tecnologie. Era abbastanza primitivo. Quindi tutto ciò ha iniziato a venire insieme e poi siamo finiti in questo tipo di spazio in cui siamo, che è wow, puoi controllare le narrazioni solo attraverso l’esposizione ripetuta alle informazioni dai feed che stai consumando ora.

Credi che ci sia stata un’elezione che è stata influenzata o che un’elezione futura possa essere influenzata da questo tipo di disinformazione?

Per inquadrare questo in un certo senso. Primo, abbiamo preso una misura molto stretta, che è la disinformazione non è reale. E credo che sia troppo limitato. Dobbiamo espanderlo a chi controlla le narrazioni. Adesso, una narrazione potrebbe essere molto reale, ma potrebbe non essere così importante.

Possiamo prendere una storia se ti preoccupi del crimine e possiamo semplicemente trasmettere tutti i crimini a tutti i canali e tornerai indietro attraverso questo e penserai che la tua città abbia appena attraversato l’ondata di crimine più orribile che abbia mai visto. E tutto ciò che hai fatto è stato prendere ogni singolo crimine che sia mai stato segnalato, che precedentemente non era sulla tua radar, e metterlo nel tuo sistema.

Ora inizierai a credere che il crimine sia molto più alto di quanto non sia in realtà. Non è cambiato, ma sei esposto di più. Quindi questo non è se il crimine sia avvenuto o no, è se stava lottando per la tua attenzione. Quindi questo è un pezzo. Ci siamo bloccati in questo se è successo o no? Come se fosse la battaglia. Ma la battaglia è realmente per le prospettive delle persone. Quindi, questo è un lato di esso.

Il secondo pezzo di esso è, bene, quanto puoi influenzare questo? Bene, se non hai una percezione di se i vaccini causano la perdita di 37 punti di QI, o se non avevi precedentemente una credenza che i vaccini e l’intelligenza fossero collegati. Se ti dico che lo fanno, sarai tre volte più propenso a crederci, rispetto a se qualcuno tornasse indietro e ti dicesse che i vaccini causano la perdita di QI. Quindi, chi entra con il primo messaggio ha la migliore possibilità di farti credere, se precedentemente non avevi un’opinione su qualcosa.

Quindi è un pregiudizio nel cervello umano che è vulnerabile a ciò?

È un pregiudizio nel cervello umano. La seconda parte, anche se sai che le informazioni sono false, se sei esposto ad esse, sei più propenso a crederci, anche se sai che sono false. Quindi c’è la ripetizione delle informazioni. C’è il primo pezzo di informazione quando non avevi un’opinione precedente. E poi l’altro pezzo che sappiamo è che se lo hai da fonti indipendenti, ti fidi di più. E se lo hai da persone che sono nella tua rete di amici, ti fidi di più, diventa una metodologia di affiliazione. E sappiamo che intorno al 25% è un punto di svolta, se il 25% delle persone inizia a credere a qualcosa, crea un enorme punto di svolta in cui poi è molto probabile che il 75% o l’80% delle persone inizieranno a crederci.

Quindi tutto ciò si riduce al mondo della formazione dell’opinione e della meccanica di come i gruppi arrivano a un consenso. C’è un ramo secondario della fisica, che è la fisica computazionale, che ha studiato questo, e puoi andare nella letteratura e capire questi modelli di come le opinioni si formano, si propagano e vengono adottate.

Puoi progettare questi sistemi se lo desideri, e questo è ciò che le persone iniziano a fare. Non credo che siano stati molto sofisticati. Ma guarda, la Cina è una superpotenza dell’IA. Sanno che vincere le guerre informative intorno alla dinamica di Taiwan diventa incredibilmente importante. Dovremmo aspettarci che facciano ogni passo che la tecnologia consente per impegnarsi e vincere in quel conflitto.

Sappiamo come gli esseri umani cadono vittime di ciò, ma come fa un’IA a rilevare la verità di base?

Dobbiamo allontanarci da questa cosa di cosa è vero e cosa intendo è che non si tratta di portare i fact checker a tutto. Perché abbiamo detto, qui, guarda, un’IA potrebbe determinare che, sì, questo crimine è avvenuto, ma non importa. Quello non è il punto. Ora credi che ci sia un’enorme ondata di crimine nella tua città e qualcosa deve essere fatto al riguardo. Giusto? E qual è la verità di base su se Taiwan appartenga alla Cina? Voglio dire, puoi tornare indietro storicamente. Possiamo discuterne, ma l’IA lo sa? Sappiamo esattamente dove si trova?

Sappiamo adesso che è un problema relativamente divisivo. E gli Stati Uniti e Taiwan hanno strutture di credenze. La Cina ha un’altra struttura di credenze. Il lavoro dell’IA non è quello di capire chi ha ragione su quello. Il lavoro dell’IA è determinare se qualcuno ha cercato di influenzarti attivamente per farti credere da una parte o dall’altra.

E questo è il secondo pezzo, è che le persone useranno l’intelligenza artificiale per cercare di convincerti a credere a una parte o all’altra, utilizzando i metodi per ottenere la prima credenza, ottenere la ripetizione continua dell’esposizione a questo, ottenere voci indipendenti che sembrano provenire da te, controllare e scegliere il 25% della tua rete di influenza per sperare di farti credere all’altra parte. Queste sono tutte tecniche che l’IA può migliorare e l’IA può anche difendere. Ma dobbiamo allontanarci da questa cosa di può l’IA determinare la verità, perché spesso la verità è forse meno importante della battaglia per la narrazione.

E come aiuta Primer in questo?

Quindi principalmente si tratta di sorveglianza e rilevamento. Una delle cose che emerge è che siamo in un posto in cui la prima volta che spesso sentiamo parlare di campagne di disinformazione è sei mesi dopo che sono avvenute.

Vuol dire che non siamo mai in grado di catturare questo in tempo reale?

Bene, non è nemmeno in tempo reale. È se mettiamo noi stessi nella cosa cinetica, i missili si sono mossi verso il confine degli Stati Uniti e sei mesi dopo, ci rendiamo conto che sono stati lanciati contro di noi. È lì che siamo. Abbiamo un enorme divario da colmare sulla sorveglianza e il riconoscimento intorno alla disinformazione o alle operazioni informative che chiamiamo. Se c’è stata un’operazione di informazione che è stata condotta, dobbiamo ottenere una comprensione in tempo reale o quasi in tempo reale di cosa sembra, quali sono le motivazioni, quali sono le manipolazioni e metterlo in un posto in cui possiamo iniziare ad agire per chiudere quelle reti di bot o possiamo iniziare a limitare la diffusione di quelle informazioni.

E qual è la tua opinione sulla minaccia ultima che la Cina rappresenta nel mondo?

È una grande domanda per il mondo. Quello che sappiamo è che siamo in una corsa agli armamenti dell’IA con la Cina, perché il vincitore di quella avrà un enorme vantaggio militare su chiunque sia secondo in quella corsa. Quindi la Cina perseguirà i componenti dell’intelligenza artificiale molto aggressivamente. La seconda parte di ciò è la prominenza della produzione di chip e delle GPU avanzate che Taiwan ha. E credo che se la Cina guardasse a ciò e potesse avere i laboratori di fabbricazione, le strutture e le fonderie di Taiwan, sarebbero in una posizione molto, molto dominante nella corsa agli armamenti dell’IA.

Adesso, se la Cina prende tutto ciò con la forza, c’è una buona possibilità che finiscano per distruggere quelle capacità o che vengano distrutte da Taiwan e nessuno le abbia. Il che sarebbe okay per la Cina. Ci sarebbe un enorme disastro a livello globale, ma non creerebbe necessariamente un problema così grande per la Cina se ciò dovesse accadere.

Tuttavia, se possono prendere tutto ciò intatto, allora è un enorme vantaggio per loro. E il modo per farlo è come abbiamo visto a Hong Kong, è come, “Sei davvero parte di noi”. E convinci il resto del mondo che sono davvero parte di noi. E se cerchi di dissentire da quella credenza o opinione, allora ci saranno problemi economici o altri problemi. Quindi, ciò a cui la Cina è impegnata è una operazione di influenza globale per convincere il mondo che Taiwan fa parte della Cina, per convincere i taiwanesi che sono parte della Cina. E se possono farlo, allora all’improvviso la Cina ha la torta e può mangiarla anche.

Quindi, dove vedremo ciò, è che la Cina proietterà operazioni di informazione narrative per convincere il mondo che Taiwan fa parte della Cina. E questo è stato riconosciuto dal Comitato di intelligence della Camera. Poiché hanno messo insieme il loro Intelligence Authorization Act, hanno chiamato specificamente i metodi per rilevare le operazioni di influenza cinese nei Caraibi, in America centrale e meridionale.

È un richiamo specifico per la comunità di intelligence per lavorare su questo. L’Intelligence Authorization Act ha anche chiamato la capacità di adottare l’intelligenza artificiale, la capacità di utilizzare tecnologie commerciali off-the-shelf e la capacità di distribuire ambienti senza codice in queste organizzazioni. Ci sono state alcune cose molto costruttive che sono uscite dal Congresso. Alcuni pezzi sono aperti e disponibili per essere letti, sono stati molto interessanti sul combattere le campagne di disinformazione cinese, in particolare nei paesi dell’America centrale e meridionale e dei Caraibi.

Quanto pensi che i motori di raccomandazione come YouTube, Facebook (META ), Twitter e TikTok abbiano un ruolo nell’amplificazione di questa falsa narrazione?

Una cosa che sappiamo della Cina è che hanno fermato Facebook dall’entrare. Facebook è entrato in Cina. Nel 2012 Mark Zuckerberg era come, “Sto per imparare il mandarino. È tutto sulla Cina”. La Cina era come, “Ti lasceremo entrare e adesso arrivederci”.

Perché la Cina era come, “Al diavolo, non lasceremo che un’azienda americana controlli i flussi di informazione della nostra popolazione. Abbiamo lavorato molto duramente, grazie mille, per controllare le informazioni che la nostra popolazione riceve. Questo è ciò che facciamo. Siamo molto bravi a farlo. Ti lasceremo entrare, impareremo da te. Ma dopo di che, sei fuori”. Quindi adesso Facebook non c’è.

Quindi il Partito Comunista Cinese ha preso una decisione molto chiara su come voleva controllare le informazioni. Ora, come regime autoritario, hai quel controllo. “Non penserai a queste idee. Non dirai queste cose. Non farai questo”. Come democrazia liberale, dobbiamo impegnarci nella capacità di dibattere e scambiare idee in uno spazio relativamente libero e aperto. Ci sono certi limiti, ma sono proprio ai margini. Quindi la Cina, credo, è stata in grado di controllare le informazioni. Gli Stati Uniti non possono farlo nella stessa misura, c’è una democrazia. Dobbiamo lasciare che la confusione delle informazioni si sfidi da sola. Il che è il motivo per cui siamo diventati suscettibili a questi tipi di attacchi di informazione. C’è un’enorme asimmetria nel sistema. “Vuoi abilitare la discussione libera? Bene, noi la corromperemo. Non puoi farlo a noi perché abbiamo un ottimo blocco dei nostri sistemi di informazione”.

Credo che questo sia qualcosa con cui dovremo lottare. E il primo protocollo è quello di identificare rapidamente se un’operazione di informazione sta essere eseguita sulla piattaforma, allertarlo ai sistemi, almeno limitare la diffusione di quelle informazioni, ma anche, se ci sono reti non bot, abbatterle rapidamente. Il lato della raccomandazione… Questo non è stato, direi, utilizzato in modo malizioso dalle aziende americane. Non credo che sia lì. Potrebbe essere utilizzato in modo malizioso da un’azienda esterna? Sì, potenzialmente. Se fossi in guerra con qualcuno e avessero il controllo di una rete di informazione che stava alimentando narrazioni alla tua popolazione, ti fideresti di loro per essere imparziali e onesti?

Bene, sappiamo già cosa è successo con VK e la Russia, che è la rete sociale. Hanno detto, “Bene, non metterai immagini di persone morte che abbiamo ucciso in Ucraina. Quello è semplicemente vietato. E metteremo un muro di informazione per fermare la diffusione di informazioni dalle reti occidentali nelle nostre reti”. Quindi, cosa succede quando inizia un conflitto, è che le persone mettono barriere che dicono, “Non avrai il controllo dell’influenza sulla nostra popolazione”.

Credo che la cosa più importante sia che ci vuole forse tre o quattro settimane per VK per farlo. C’è stato un periodo in cui credo che fosse relativamente aperto, ma poi l’hanno chiuso, perché si sono resi conto che se non controlli la narrazione nella tua popolazione e se lasci che vedano i danni che i missili e gli attacchi stanno avendo sulla popolazione civile in Ucraina, forse non vorranno più combattere.

Credo che una delle cose che ci hanno sorpreso dell’Ucraina è stata la forza con cui sono tornati e hanno iniziato a combattere. E non credo che fossimo sbagliati nel pensare che potesse essere una guerra molto veloce, se le persone dell’Ucraina avessero deposto le armi. Ma cosa è successo è stato il contrario. Sono tornati nel paese, hanno preso i fucili e hanno iniziato a combattere. E questo è stato perché la narrazione si è capovolta e si è capovolta su alcune cose chiave. Il Fantasma di Kiev, l’Isola dei Serpenti, la donna con i semi di girasole nelle tasche del soldato e dicendo, “Quando morirai, i girasoli cresceranno”. Questi momenti, i meme, hanno risuonato attraverso quella popolazione.

Adesso, molte di quelle cose non erano realmente vere. O erano state create. Il Fantasma di Kiev e l’Isola dei Serpenti sono stati amplificati. Sono sopravvissuti, ma sono stati presentati come martiri che hanno detto, “F*** you”, e sono stati uccisi. Questa è stata una guerra di informazione par excellence che ha creato uno spirito di lotta, non solo in Ucraina, ma anche nei paesi membri della NATO e negli Stati Uniti per far sventolare le bandiere dell’Ucraina e dire, “Dobbiamo preoccuparci di questo”. Non doveva essere necessariamente così. La guerra più facile da vincere è quella in cui l’opposizione non vuole combattere. E questo è stato il gioco e la scommessa che i russi hanno fatto, e Putin ha fatto, e si sono sbagliati. E si sono sbagliati perché non avevamo mai visto un’operazione di influenza che avesse vinto una guerra di narrazione come abbiamo visto con l’Ucraina prima. E questo è stato eccellente.

Credo che sottovalutiamo il potere delle operazioni di informazione. Credo che la Cina stia prestando molta attenzione e credo che lo vedremo. E lo stiamo già vedendo, riguardo a Taiwan e a cosa il resto del mondo pensa al riguardo. E gli Stati Uniti, credo, se vogliono impegnarsi, devono avere lo stesso set di abilità per combattere le operazioni di informazione.

Ci sono ultime parole che vuoi condividere su Primer?

Siamo impegnati in questa missione per aiutare a sostenere gli Stati Uniti e i loro alleati per portare la migliore tecnologia per metterla nelle mani dei combattenti, e credo che vogliamo che più aziende tecnologiche vengano a unirsi a questa lotta.

Grazie per questa intervista illuminante, i lettori che desiderano saperne di più sono invitati a visitare Primer.