Sean Gourley, CEO e Fundador da Primer – Série de Entrevistas

Sean Gourley é o CEO e Fundador da Primer, uma empresa que fornece aplicações de Processamento de Linguagem Natural (NLP) de nível industrial para agências governamentais, instituições financeiras, empresas do Fortune 50 e muitas outras organizações.

Um dos principais casos de uso da Primer é ajudar as pessoas a detectar, entender e responder a campanhas de desinformação. Em um esforço para melhorar esses serviços, a Primer adquiriu recentemente a Yonder para melhorar sua capacidade de combater ataques de desinformação.

Nós nos sentamos com Sean para discutir a desinformação na recente conferência Ai4 que foi realizada em Las Vegas. Sean é um tesouro de informações sobre campanhas de desinformação e propaganda governamental. Abaixo está nossa entrevista.

O que inicialmente o atraiu para aprender e entender o ecossistema de desinformação?

Então, eu falei um pouco sobre negociação de alta frequência, e era interessante. Eu estava procurando por isso. Havia esse espaço de algoritmos, tentando entender se algo havia acontecido no mundo, e então negociar com base nisso. E era primitivo. Isso foi em 2012, e estávamos capturando ruídos.

Eles estavam obtendo coisas erradas quando as liam, ou interpretando mal os sinais. E então houve um tuite que saiu, supostamente, a AP havia sido hackeada. E sua conta no Twitter disse: “Quebrando: Explosão na Casa Branca, Barack Obama ferido.” E então o mercado pegou essa informação e caiu, perdeu cerca de $130 bilhões com esse tuite. Agora, não sei se foi destinado a impulsionar o mercado, se foi destinado apenas a criar caos, ou se foi destinado a fazer algo, mas foi apenas essa conexão de volta naquela época, eu fui como: “Uau.” É como essa borboleta bate as asas e cria esse tipo de impacto, porque está aproveitando o conjunto de atores algorítmicos que realmente não são muito inteligentes.

Então, eu vi isso, e isso me fez cavar mais fundo e então comecei a procurar… E vi que havia um monte de bots mexicanos, contas mexicanas que estavam alegando que jornalistas não foram mortos por cartéis de drogas. E isso foi em 2013. E eu fui como: “Meu Deus, você tem atores não estatais, cartéis de drogas, engajados nessa coisa para criar uma batalha de narrativa. E parece que eles estão vencendo.” E eu fui como: “Esses não são mesmo atores estatais.” E naquele ponto, disse: “Bem, o que aconteceria se um ator estatal obtivesse as mãos nisso? O que isso pareceria e o que faria?” E então publiquei um artigo na Wired em 2015. Foi realmente escrito no final de 2014, mas era sobre previsões para 2015. E eu disse: “Este é o ano em que os bots vão tomar conta e controlar as eleições.”

E se tornou incrivelmente premonitório, à medida que esse artigo passou, talvez até mais do que eu originalmente pensava. Mas foi apenas vendo essa espécie de arco de tecnologia. No mesmo lado, também estávamos vendo apenas quão rudimentares muitas dessas tecnologias eram. Era bastante primitivo. Então, tudo isso começou a se juntar, e então chegamos a esse tipo de espaço que estamos agora, que é, uau, você pode controlar narrativas apenas por meio da exposição repetida à informação dos feeds que está consumindo agora.

Você acredita que houve uma eleição que foi influenciada ou que uma futura eleição possa ser influenciada por esse tipo de desinformação?

Enquadramento isso de volta em um sentido aqui. Primeiro é que tomamos uma abordagem muito estreita nisso, que é a desinformação não é real. E acho que isso é muito estreito. Precisamos expandir isso para quem está controlando as narrativas. Agora, a narrativa pode ser muito real, mas pode não ser tão importante.

Podemos pegar uma história se você está preocupado com o crime, e podemos apenas transmitir todos os crimes para todos os canais, e você voltará por isso e pensará que sua cidade passou pela onda de crime mais horrível que já viu. E tudo o que você fez foi apenas pegar todos os crimes que já foram relatados, que anteriormente não estavam no seu radar, e colocá-los no seu sistema.

Agora, você vai começar a acreditar que o crime é muito mais alto do que realmente é. Não mudou, mas você está exposto mais a ele. Então, isso não é se o crime aconteceu ou não, é se estava lutando por sua atenção. Então, isso é uma peça. Nós nos pegamos nisso, se aconteceu ou não? Como se isso fosse a batalha. Mas a batalha é realmente pelas visões de mundo das pessoas. Então, essa é uma parte disso.

A segunda parte disso aqui é, bem, quanto você pode influenciar isso? Bem, se você não tem uma percepção de se as vacinas causam perda de 37 pontos de QI, ou se você não tinha anteriormente uma crença de que as vacinas e a inteligência estavam relacionadas. Se eu dissesse que elas estavam, você agora seria três vezes mais provável de acreditar nisso do que se alguém viesse e dissesse que as vacinas causam perda de QI. Então, quem chega com a primeira mensagem tem a melhor chance de você manter essa crença, se você não tiver opinião sobre algo.

Então, é o viés no cérebro humano que é vulnerável a isso?

É o viés no cérebro humano. A segunda parte, mesmo que você saiba que a informação é falsa, se você for exposto a ela, você é mais provável de acreditar nisso, mesmo que você saiba que é falso. Então, há essa repetição de informação. Há a primeira peça de informação quando você não tinha opinião anterior sobre. E então a outra peça que sabemos é que, se você a obtém de fontes independentes, você confia mais nisso. E se você a obtém de pessoas que estão na sua rede de amigos, você confia mais nisso, torna-se uma metodologia de afiliação. E sabemos que cerca de 25% é um ponto de inflexão, se 25% das pessoas começarem a acreditar nisso, cria um ponto de inflexão massivo pelo qual é muito provável que 75% ou 80% das pessoas comecem a acreditar nisso.

Então, tudo isso se resume ao mundo da formação de opinião, e à mecânica de como os grupos chegam a um consenso. Há um sub-ramo da física, que é a física computacional, que está estudando isso, e você pode ir para a literatura e entender esses modelos de como as opiniões se formam, se propagam e são adotadas.

Você pode engenharia esses sistemas, se você quiser. E é o que as pessoas estão começando a fazer. Não acho que tenham sido muito sofisticadas. Mas olhe, a China é uma superpotência de IA. Eles sabem que vencer as guerras de informação em torno da dinâmica de Taiwan se torna incrivelmente importante. Devemos esperar que eles tomem todos os passos que a tecnologia permite para se engajar e vencer nesse conflito.

Nós sabemos como os humanos se tornam vítimas disso, mas como um IA detecta a verdade?

Nós precisamos nos afastar dessa coisa de o que é verdade, e o que quero dizer com isso é que isso não é sobre trazer verificadores de fatos para tudo. Porque dissemos, aqui, olhe, um IA poderia determinar que, sim, esse crime aconteceu, mas não importa. Isso não é a coisa. Você agora acredita que há uma onda de crime massiva em sua cidade e algo precisa ser feito sobre isso. Certo? E qual é a verdade sobre se Taiwan pertence à China? Eu quero dizer, você pode voltar historicamente. Podemos debater isso, mas o IA sabe? Sabemos exatamente onde isso está?

Sabemos agora que é uma questão relativamente divisiva. E os EUA e Taiwan têm estruturas de crença. A China tem outra estrutura de crença. O trabalho do IA não é descobrir quem está certo nisso. O trabalho do IA é determinar se alguém tentou ativamente influenciar você a acreditar em um lado ou outro.

E essa é a segunda parte, é que as pessoas usarão inteligência artificial para tentar persuadi-lo a acreditar em um lado ou outro, usando os métodos de obter a primeira crença, obter repetição contínua de exposição a isso, obter vozes independentes aparentemente vindo por aí, controlando e escolhendo 25% da sua rede de influência para esperar que você mude de ideia para acreditar no outro lado. Essas são todas técnicas que o IA pode aprimorar, e o IA também pode se defender contra. Mas precisamos nos afastar dessa coisa de o IA pode determinar a verdade, porque muitas vezes a verdade é talvez menos importante do que a batalha pela narrativa.

E como a Primer ajuda nisso?

Então, principalmente é sobre vigilância e detecção. Uma das coisas que emerge é que estamos em um lugar onde a primeira vez que geralmente ouvimos sobre campanhas de desinformação é seis meses após elas terem acontecido.

Significando que nunca somos capazes de capturar isso em tempo real?

Bem, não é nem em tempo real. É se você me colocar na coisa cinética, mísseis se moveram para a fronteira dos EUA, e seis meses depois, percebemos que eles foram disparados contra nós. É onde estamos. Temos uma lacuna massiva para preencher na vigilância e reconhecimento em torno de desinformação, ou operações de informação, como as chamamos. Se houve uma operação de informação que foi realizada, precisamos ter uma compreensão em tempo real, ou quase em tempo real, do que isso parece, quais são as motivações, quais são as manipulações, e colocar isso em um lugar onde possamos começar a agir para desligar essas redes de bots, ou podemos olhar para começar a limitar a propagação dessa informação.

E qual é sua visão sobre a ameaça definitiva que a China representa no mundo?

É uma grande pergunta para o mundo. O que sabemos é que estamos em uma corrida armamentista de IA com a China, porque o vencedor disso terá uma vantagem militar muito dominante sobre quem está em segundo lugar nessa corrida. Então, a China vai perseguir os componentes da inteligência artificial muito agressivamente. A segunda parte disso é a proeminência da fabricação de chips e GPUs avançados, que Taiwan tem. E acho que, se a China olhar para isso, e puder ter os laboratórios de fabricação, instalações e fábricas de Taiwan, estariam em uma posição muito, muito dominante na corrida armamentista de IA.

Agora, se a China tomar isso à força, há uma boa chance de que acabem destruindo essas capacidades, ou elas sejam destruídas por Taiwan e ninguém as terá. O que seria bom em algum nível para a China. Haveria uma grande perturbação global, mas não necessariamente criaria tanto problema para a China se isso acontecesse.

No entanto, se puderem tomar tudo, então é uma vantagem massiva para eles. E a maneira de fazer isso é como vimos em Hong Kong, é como, “Você realmente faz parte de nós.” E convencem o resto do mundo de que eles realmente fazem parte de vocês. E se você tentar discordar dessa crença ou opinião, então haverá problemas econômicos ou outros. Então, o que a China está engajada é uma operação de influência global para convencer o mundo de que Taiwan faz parte da China, para convencer os taiwaneses de que eles fazem parte da China. E se puderem fazer isso, então, de repente, a China tem o bolo e pode comê-lo também.

Então, onde vamos ver isso é a China projetando operações de informação para convencer o mundo de que Taiwan faz parte da China. E isso está sendo reconhecido pelo Comitê de Inteligência da Câmara. Como eles juntaram seu Ato de Autorização de Inteligência, eles chamaram especificamente métodos para detectar operações de influência chinesa no Caribe, América do Sul, América Central.

Isso é um chamado específico para a comunidade de inteligência para trabalhar nisso. O Ato de Autorização de Inteligência também chamou a capacidade de adotar inteligência artificial, a capacidade de usar tecnologias comerciais prontas para uso e a capacidade de implantar ambientes sem código nessas organizações. Houve algumas coisas muito construtivas vindo do Capitólio. Algumas peças abertas e disponíveis para ler, foram muito interessantes sobre combater campanhas de desinformação chinesa, particularmente em países da América do Sul, América Central e Caribe.

Quanto você acha que os motores de recomendação, como o YouTube, Facebook (META ), Twitter e TikTok, têm a desempenhar na amplificação dessa narrativa falsa?

Uma coisa que sabemos sobre a China é que eles pararam o Facebook de entrar. O Facebook entrou na China. Em 2012, Mark Zuckerberg era como, “Vou aprender mandarim. É tudo sobre a China.” A China era como, “Vamos deixá-lo entrar e agora adeus.”

Porque a China era como, “Bem, para o inferno que vamos deixar uma empresa americana controlar os feeds de informação da nossa população. Trabalhamos muito duro, obrigado, para controlar a informação que a nossa população obtém. Isso é o que fazemos. Somos muito bons nisso. Vamos deixá-lo entrar, vamos aprender com você. Mas depois disso, você está fora.” Então, agora o Facebook não está lá.

Então, o Partido Comunista Chinês fez uma decisão muito clara sobre como queria controlar a informação. Agora, como um regime autoritário, você tem esse controle. “Você não vai pensar nessas ideias. Você não vai dizer essas coisas. Você não vai fazer isso.” Como uma democracia liberal, temos que nos engajar na capacidade de debate e troca de ideias em um espaço relativamente livre e aberto. Há certos limites, mas estão bem nas bordas. Então, a China, acho, conseguiu controlar a informação. Os EUA não podem fazer isso na mesma extensão, há uma democracia. Temos que deixar a bagunça da informação lutar por si mesma. O que é por que nos tornamos suscetíveis a esses tipos de ataques de informação. Há uma grande assimetria no sistema. “Você quer permitir a discussão? Bem, vamos corromper isso. Você não pode fazer isso conosco porque temos um controle muito bom dos nossos sistemas de informação.”

Acho que isso é algo com que vamos lutar por um tempo. E é o primeiro tipo de protocolo, e é rapidamente identificar se a operação de informação está sendo executada na plataforma, alertar isso aos sistemas, o mínimo é limitar a difusão dessa informação, mas também, se há redes de bots não, derrubá-las rapidamente. O lado de recomendação disso… Isso não foi, eu diria, usado maliciosamente por empresas americanas. Não acho que seja onde isso está. Pode ser usado maliciosamente por uma empresa externa? Sim, potencialmente. Se você estivesse em guerra com alguém, e eles tivessem controle de uma rede de informação que alimentava narrativas para a sua população, você confiaria neles para ser justo e imparcial?

Bem, já sabemos o que aconteceu com a VK e a Rússia, que é a rede social. Eles disseram, “Bem, você não vai colocar nenhuma imagem de pessoas mortas que matamos na Ucrânia. Isso é proibido. E vamos colocar uma parede de informação para parar a difusão de informação das redes ocidentais para as nossas redes.” Então, o que acontece quando um conflito começa, é que as pessoas colocam barreiras que dizem, “Você não vai ter o controle de influência da nossa população.”

Acho que a coisa didática, levou talvez três ou quatro semanas para a VK fazer isso. Houve uma janela onde acho que era relativamente aberta, mas então eles fecharam isso, porque perceberam que, se você não controla a narrativa na sua população, e se você deixa que vejam o dano que os mísseis e os ataques estão tendo na população civil na Ucrânia, talvez eles não queiram lutar mais.

Acho que uma das coisas que todos ficamos surpresos com a Ucrânia foi como eles voltaram forte e firme. E não acho que estávamos errados em pensar que poderia ter sido uma guerra muito rápida, se as pessoas da Ucrânia baixassem as armas. Mas o que aconteceu foi o oposto. Eles voltaram para o país, pegaram os fuzis Kalashnikov e começaram a lutar. E isso foi porque a narrativa mudou, e mudou em algumas coisas-chave. O Fantasma de Kiev, a Ilha da Cobra, a mulher com as sementes de girassol nos bolsos do soldado e dizendo, “Quando você morrer, os girassóis vão crescer.” Esses momentos, as memezes, ressoaram por essa população.

Agora, muitos deles não eram realmente verdadeiros. Ou foram fabricados. O Fantasma de Kiev e a Ilha da Cobra foram amplificados. Eles sobreviveram, mas foram lançados como mártires que disseram, “F*** você,” e foram mortos. Essa foi uma guerra de informação par excellence que criou um espírito de luta, não apenas na Ucrânia, mas também nos países membros da OTAN e nos EUA para ter bandeiras da Ucrânia voando por aí e dizendo, “Nós precisamos nos importar com isso.” Isso não precisava ser o caso. A guerra mais fácil de ganhar é aquela em que a oposição não quer lutar. E essa foi a aposta e o risco que os russos fizeram, e Putin fez, e ele estava errado. E ele estava errado porque nunca vimos uma operação de influência que tenha voltado para ganhar uma guerra de narrativa como vimos com a Ucrânia antes. E foi excelente.

Acho que subestimamos o poder das operações de informação. Acho que a China está prestando muita atenção e acho que vamos ver isso se desenrolar. E estamos vendo isso se desenrolar, vis a vis Taiwan, e o que o resto do mundo pensa sobre isso. E os EUA, acho, se quiserem se engajar, precisam ter o mesmo conjunto de habilidades para combater as operações de informação.

Há alguma palavra final que você gostaria de compartilhar sobre a Primer?

Nós estamos engajados nessa missão para ajudar a apoiar os EUA e seus aliados a trazer a melhor tecnologia para colocar nas mãos dos combatentes, e acho que queremos mais empresas de tecnologia para se juntarem a essa luta.

Obrigado por essa entrevista esclarecedora, leitores que desejam aprender mais são convidados a visitar Primer.