Sean Gourley, CEO e fondatore di Primer – Serie di interviste

Sean Gourley è il CEO e fondatore di Primer, un'azienda che fornisce applicazioni di elaborazione del linguaggio naturale (NLP) di livello industriale per agenzie governative, istituti finanziari, aziende Fortune 50 e molte altre organizzazioni.

Uno dei principali casi d'uso di Primer è aiutare le persone a rilevare, comprendere e rispondere alle campagne di disinformazione. Nel tentativo di migliorare questi servizi Primer Yonder recentemente acquisito per migliorare la loro capacità di combattere gli attacchi di disinformazione.

Ci siamo seduti con Sean per discutere di disinformazione al recente Convegno Ai4 che si è tenuto a Las Vegas. Sean è un tesoro di informazioni sulle campagne di disinformazione e sulla propaganda del governo. Di seguito la nostra intervista.

Cosa ti ha attratto all'inizio dell'apprendimento e della comprensione dell'intero ecosistema della disinformazione?

Quindi, ho parlato un po' del trading ad alta frequenza, ed è stato interessante. Stavo guardando attraverso quello. C'era tutto questo tipo di spazio di algoritmi, cercando di capire se fosse successo qualcosa nel mondo, e poi scambiarci sopra. Ed era primitivo. Era il 2012 e stavamo raccogliendo rumore.

Stavano sbagliando le cose quando lo leggevano o interpretavano male i segnali. E poi c'è stato un tweet che è uscito, presumibilmente, AP era stato violato. E il loro account Twitter diceva: "Rottura: esplosione alla Casa Bianca, Barack Obama ferito". E poi il mercato ha preso quelle informazioni ed è caduto, perdendo circa $ 130 miliardi da quel tweet. Ora non so se fosse inteso a guidare un mercato, se fosse inteso solo per creare scompiglio o se fosse destinato a fare qualcosa, ma era solo quella connessione in quel momento, ero tipo "Wow". È come questa farfalla che sbatte le ali e crea questo tipo di impatto, perché in un certo senso sfrutta l'insieme di attori algoritmici che non sono poi così intelligenti.

Quindi l'ho visto, e questo mi ha fatto scavare e poi ho iniziato a cercare ... E ho visto che c'era un intero gruppo di robot messicani, account messicani che affermavano che i giornalisti non erano stati uccisi dai cartelli della droga. E questo è, tipo, il 2013. E io ero tipo, “Oh mio Dio, hai attori non statali, cartelli della droga, impegnati in questa cosa per creare una battaglia narrativa. E sembra che stiano vincendo". E io ero tipo "Questi non sono nemmeno attori statali". E a quel punto in un certo senso ha detto: “Bene, e se un attore statale ci mettesse le mani sopra? Come sarebbe e cosa farebbe? E poi ho pubblicato un pezzo su Wired nel 2015. In realtà è stato scritto alla fine del 2014, ma riguardava le previsioni per il 2015. E ho detto: "Questo sarà l'anno in cui i robot prenderanno il sopravvento e controlleranno le elezioni .”

Ed è diventato incredibilmente preveggente quando quel pezzo è arrivato, forse anche più di quanto pensassi inizialmente. Ma stava solo vedendo questo tipo di arco tecnologico. Allo stesso modo, stavamo anche vedendo quanto fossero rudimentali molte di queste tecnologie. Era piuttosto primitivo. Quindi tutto ciò ha iniziato a prendere forma, e poi abbiamo ottenuto questo tipo di spazio in cui siamo finiti, che è wow, puoi controllare le narrazioni solo attraverso l'esposizione ripetuta alle informazioni dai feed che stai consumando ora.

Credi che ci sia stata un'elezione che è stata influenzata o che una futura elezione potrebbe essere influenzata da questo tipo di disinformazione?

Inquadrare questo in un certo senso qui. Il primo è che abbiamo preso una misura molto ristretta a questo, che è la disinformazione non è reale. E penso che sia troppo ristretto. Dobbiamo estenderlo a chi controlla le narrazioni. In questo momento, la narrazione potrebbe benissimo essere reale, ma potrebbe non essere così importante.

Possiamo prendere una storia se sei preoccupato per il crimine, e possiamo semplicemente trasmettere in massa tutto il crimine a tutti i canali, e tornerai indietro attraverso questo e penserai che la tua città abbia appena attraversato la più orribile ondata di criminalità che sia mai stato visto. E tutto quello che hai fatto è prendere ogni singolo crimine che sia mai stato segnalato, che prima non era sul tuo radar, e inserirlo nel tuo sistema.

Ora inizierai a credere che il crimine sia molto più alto di quanto non sia in realtà. Non è cambiato, ma sei più esposto ad esso. Quindi non si tratta se quel crimine è avvenuto o meno, ma se stava combattendo o meno per attirare la tua attenzione. Quindi questo è un pezzo. Siamo rimasti intrappolati in questo, è successo o no? Come se quella fosse la battaglia. Ma la battaglia è davvero per le visioni del mondo delle persone. Quindi, questo è un aspetto.

Il secondo pezzo qui è, beh, quanto puoi influenzare questa roba? Bene, se non hai la percezione se i vaccini ti facciano perdere o meno 37 punti di QI, o se in precedenza non avevi la convinzione che i vaccini e l'intelligenza fossero collegati. Se ti dicessi che l'hanno fatto, i vaccini hanno aumentato il tuo QI, ora avresti tre volte più probabilità di crederci, che se qualcuno tornasse e ti dicesse che i vaccini hanno causato il calo del tuo QI. Quindi chiunque arrivi con il primo messaggio ha maggiori possibilità che tu mantenga quella convinzione, se in precedenza non avevi un'opinione su qualcosa.

Quindi è il pregiudizio nel cervello umano che è vulnerabile a questo?

È un pregiudizio nel cervello umano. La seconda parte, anche se sai che l'informazione è falsa, se sei esposto ad essa, è più probabile che tu ci creda, anche se sai che è falsa. Quindi c'è questa ripetizione di informazioni. C'è la prima informazione su cui prima non avevi opinioni. E poi l'altro pezzo che sappiamo, è che se lo hai da fonti indipendenti, ti fidi di più. E se lo hai da persone che sono nella tua rete di amici, ti fidi di più, diventa una metodologia di affiliazione. E sappiamo che circa il 25% è un punto critico, se il 25% delle persone inizia a credere a qualcosa, crea un enorme punto critico per cui diventa molto probabile che il 75% o l'80% delle persone inizi a crederci.

Quindi tutto questo si riduce al tipo di mondo della formazione dell'opinione e ai meccanismi di come i gruppi arrivano al consenso. C'è un ramo secondario della fisica, che è la fisica computazionale, che ha studiato questo, e puoi andare nella letteratura e capire questi modelli di come le opinioni si formano, si propagano e vengono adottate.

Sei in grado di progettare questi sistemi se lo desideri, e questo è ciò che le persone stanno iniziando a fare. Non credo che siano stati molto sofisticati. Ma guarda, la Cina è una superpotenza dell'IA. Sanno che vincere le guerre dell'informazione sulle dinamiche di Taiwan diventa incredibilmente importante. Dovremmo aspettarci che facciano ogni passo consentito dalla tecnologia, per impegnarsi e vincere in quel conflitto.

Sappiamo in che modo gli esseri umani ne sono vittime, ma come fa un'intelligenza artificiale a rilevare la verità alla radice?

Dobbiamo allontanarci da questa cosa di ciò che è vero, e ciò che intendo con questo è che non si tratta di portare i verificatori di fatti a tutto. Perché abbiamo detto, qui, guarda, un'intelligenza artificiale potrebbe determinare che, sì, questo crimine è accaduto, ma non importa. Non è questo il punto. Ora credi che ci sia un'enorme ondata di criminalità nella tua città e che sia necessario fare qualcosa al riguardo. Giusto? E qual è la verità fondamentale sul fatto che Taiwan appartenga o meno alla Cina? Voglio dire, puoi tornare indietro storicamente. Possiamo discuterne, ma l'IA lo sa? Sappiamo esattamente dov'è?

Ora sappiamo che è una questione relativamente controversa. E gli Stati Uniti e Taiwan hanno strutture di credenze. La Cina ha un'altra struttura di credenze. Il compito dell'intelligenza artificiale non è capire chi ha ragione su questo. Il compito dell'intelligenza artificiale è determinare se qualcuno ha cercato o meno di influenzarti attivamente a credere da una parte o dall'altra.

E questa è la seconda parte, è che le persone useranno l'intelligenza artificiale per cercare di persuaderti, a credere da una parte o dall'altra, usando i metodi per ottenere la prima convinzione, ottenendo una ripetizione continua dell'esposizione a questo, facendo arrivare voci apparentemente indipendenti, controllando e scegliendo il 25% della tua rete di influenza per sperare di farti voltare per credere dall'altra parte. Queste sono tutte tecniche che l'IA può migliorare e da cui anche l'IA può difendersi. Ma dobbiamo allontanarci da questa cosa dell'IA che può determinare la verità, perché spesso la verità è forse meno importante della battaglia per la narrazione.

E come aiuta Primer in questo?

Quindi principalmente si tratta di sorveglianza e rilevamento. Una delle cose che emerge è che ci troviamo in un luogo in cui la prima volta che sentiamo spesso parlare di campagne di disinformazione è sei mesi dopo che si sono verificate.

Significa che non siamo mai in grado di prenderlo in tempo reale?

Beh, non è nemmeno in tempo reale. È se ci metti nella cosa cinetica, i missili si sono spostati sul confine degli Stati Uniti e sei mesi dopo ci rendiamo conto che sono stati lanciati contro di noi. Ecco dove siamo. Abbiamo un'enorme lacuna da colmare sulla sorveglianza e la ricognizione sulla disinformazione, o operazioni di informazione che chiamiamo. Se c'è stata un'operazione di informazione che è stata condotta, dobbiamo ottenere una comprensione in tempo reale o quasi in tempo reale di come appare, quali sono le motivazioni, quali sono le manipolazioni e metterlo in un punto da cui possiamo iniziare agire per chiudere quelle reti di bot, oppure possiamo cercare di iniziare a limitare la diffusione di tali informazioni.

E qual è la tua opinione sull'ultima minaccia che la Cina rappresenta nel mondo?

È una grande domanda per il mondo. Quello che sappiamo è che siamo in una corsa agli armamenti di intelligenza artificiale con la Cina, perché il vincitore avrà un vantaggio militare molto dominante su chiunque sia il secondo in quella corsa. Quindi la Cina perseguirà i componenti dell'intelligenza artificiale in modo molto aggressivo. Il secondo elemento è l'importanza della produzione di chip e delle GPU avanzate di cui dispone Taiwan. E penso che se la Cina stesse guardando a questo, e potessero avere i laboratori di fabbricazione, le strutture e le fonderie di Taiwan, sarebbero in una posizione molto, molto dominante in una corsa agli armamenti di intelligenza artificiale.

Ora, se la Cina lo prende con la forza, c'è una buona possibilità che finiscano per distruggere quelle capacità, o vengano distrutte da Taiwan e nessuno le abbia. Il che andrebbe bene a un certo livello per la Cina. Ci sarebbero enormi disagi a livello globale, ma se ciò accadesse non creerebbe necessariamente un problema per la Cina.

Tuttavia, se riescono a prenderlo intero, questo è un enorme vantaggio per loro. E il modo in cui lo fai è come abbiamo visto a Hong Kong, è come, sai, "Sei davvero parte di noi". E convinci il resto del mondo che è davvero parte di noi. E se provi a dissentire da quella convinzione o opinione, allora ci saranno problemi economici o di altro tipo. Quindi, ciò in cui la Cina è impegnata sarà un'operazione di influenza globale per convincere il mondo che Taiwan fa parte della Cina, per convincere i taiwanesi che fanno parte della Cina. E se riescono a farlo, all'improvviso la Cina ha la torta e può anche mangiarla.

Quindi, dove lo vedremo, la Cina proietterà operazioni di informazione narrativa per convincere il mondo che Taiwan fa parte della Cina. E questo viene riconosciuto dalla House Intelligence Committee. Quando hanno messo insieme il loro Intelligence Authorization Act, hanno chiamato, in particolare, metodi per rilevare operazioni di influenza cinese nei Caraibi, Sud America, America Centrale.

Questo è un invito specifico per la comunità dell'intelligence a lavorare su questo. L'Intelligence Authorization Act ha anche richiamato la capacità di adottare l'intelligenza artificiale, la capacità di utilizzare tecnologie commerciali pronte all'uso e la capacità di distribuire ambienti senza codice in queste organizzazioni. Ci sono state alcune cose davvero costruttive provenienti da The Hill. Alcuni pezzi sono aperti e disponibili per la lettura, sono stati molto interessanti sulla lotta alle campagne di disinformazione cinese, in particolare nei paesi del Sud America, dell'America centrale e dei Caraibi.

Che ruolo pensi che debbano svolgere i motori di raccomandazione come YouTube, Facebook, Twitter e TikTok nell'amplificazione di questa falsa narrativa?

Una cosa che sappiamo della Cina è che hanno impedito a Facebook di entrare. Facebook è entrato in Cina. Nel 2012 Mark Zuckerberg ha detto: “Imparerò il mandarino. Riguarda la Cina”. La Cina era tipo "Ti faremo entrare e ora arrivederci".

Perché la Cina ha detto: “Bene, al diavolo che lasceremo che una società americana controlli i feed di informazioni della nostra popolazione. Abbiamo lavorato molto duramente, grazie mille, per controllare le informazioni che la nostra popolazione ottiene. Questo è quello che facciamo. Siamo molto bravi in ​​questo. Ti faremo entrare, impareremo da te. Ma dopo, te ne sei andato. Quindi ora Facebook non c'è.

Quindi il PCC (Partito Comunista Cinese) ha preso una decisione molto chiara su come voleva controllare le informazioni. Ora, come regime autoritario, hai quel controllo. “Non penserai a queste idee. Non dirai queste cose. Non lo farai. In quanto democrazia liberale, dobbiamo impegnarci nella capacità del dibattito e dello scambio di idee in uno spazio relativamente libero e aperto. Ci sono alcuni limiti, ma sono proprio ai bordi. Quindi la Cina, credo, è stata in grado di controllare le informazioni. Gli Stati Uniti non possono nella stessa misura, c'è una democrazia. Dobbiamo lasciare che il disordine delle informazioni combatta se stesso. Ecco perché siamo diventati suscettibili a questi tipi di attacchi informatici. C'è una grande asimmetria nel sistema. “Vuoi consentire la libertà di discussione? Bene, lo corromperemo. Non puoi farci questo perché abbiamo ottimi blocchi dei nostri sistemi informativi.

Penso che sia qualcosa con cui dovremo lottare durante tutto questo. E il suo primo tipo di protocollo, e cioè identificare rapidamente se la loro operazione informativa è in esecuzione sulla piattaforma, avverte che ai sistemi, il minimo è limitare il tipo di diffusione di tali informazioni, ma anche, se non ci sono -bot, eliminali rapidamente. Il lato della raccomandazione di questo... Direi che questo non è stato usato maliziosamente dalle aziende statunitensi. Non credo che sia lì che sia. Potrebbe essere utilizzato maliziosamente da una società esterna? Sì, potenzialmente. Se fossi in guerra con qualcuno e avesse il controllo di una rete di informazioni che alimenta narrazioni alla tua popolazione, ti fideresti che sia giusto e imparziale?

Bene, sappiamo già cosa è successo con VK e Russia, che è il social network. Dissero: “Beh, non metterete nessuna immagine di persone morte che abbiamo ucciso in Ucraina. Questo è solo vietato. E erigeremo un muro di informazioni per fermare la diffusione di informazioni dalle reti occidentali nelle nostre reti”. Quindi, quando inizia un conflitto, ciò che accade è che le persone erigono barriere che dicono: "Non avrai il controllo dell'influenza della nostra popolazione".

Quindi penso che la cosa da manuale, ci siano volute forse tre o quattro settimane perché VK lo facesse. C'era una finestra in cui penso fosse relativamente aperta, ma poi l'hanno chiusa, perché si sono resi conto che se non controlli la narrazione nella tua popolazione e se lasci loro vedere il danno che i missili e gli attacchi stanno provocando sulla popolazione civile in Ucraina, forse non vogliono più combattere.

Penso che una delle cose di cui siamo tutti sorpresi con l'Ucraina sia stata la forza con cui sono andati avanti e indietro. E non credo che ci sbagliassimo nel pensare che sarebbe potuta essere una guerra molto rapida, se gli ucraini avessero deposto le armi. Ma quello che è successo è stato il contrario. Tornarono nel paese, presero i kalashnikov e iniziarono a combattere. E questo perché la narrazione si è ribaltata e ha ribaltato alcune cose chiave. Il fantasma di Kiev, Snake Island, la donna con i semi di girasole nelle tasche del soldato e che dice: "Quando morirai, i girasoli arriveranno". Questi momenti, i meme, hanno risuonato in quella popolazione.

Ora, molti di loro non erano effettivamente veri. Oppure sono stati fabbricati. Il fantasma di Kiev e l'isola dei serpenti sono stati amplificati. Sono sopravvissuti, ma sono stati scelti come martiri che hanno detto "Vaffanculo" e sono stati uccisi. Questa è stata una guerra dell'informazione per eccellenza che ha creato uno spirito combattivo, non solo in Ucraina, ma anche nei paesi membri della NATO e negli Stati Uniti per far sventolare le bandiere dell'Ucraina e dire: "Dobbiamo preoccuparcene". Non doveva essere così. La guerra più facile da vincere è quella in cui l'opposizione non vuole combattere. E quella era la scommessa e la scommessa che i russi hanno fatto, e Putin ha fatto, e si sbagliava. E si sbagliava perché non avevamo mai visto un'operazione di influenza che fosse tornata per vincere una guerra narrativa come non avevamo mai visto prima con l'Ucraina. Ed è stato eccellente.

Penso che sottovalutiamo il potere delle operazioni di informazione. Penso che la Cina abbia prestato molta attenzione e penso che vedremo il gioco. E lo stiamo vedendo svolgersi, vis a vis Taiwan, e cosa ne pensa il resto del mondo. E gli Stati Uniti, penso che se vogliono impegnarsi, devono avere lo stesso insieme di capacità, per combattere le operazioni di informazione.

Ci sono delle ultime parole che volevi condividere su Primer?

Siamo impegnati in questa missione per aiutare a sostenere gli Stati Uniti ei loro alleati per portare la migliore tecnologia da mettere nelle mani dei combattenti di guerra, e penso che vogliamo che più aziende tecnologiche vengano e si uniscano a questa lotta.

Grazie per questa intervista illuminante, i lettori che desiderano saperne di più sono invitati a visitare Primer.