Sean Gourley, PDG et fondateur de Primer – Série d’entretiens

Sean Gourley est le PDG et fondateur de Primer, une entreprise qui fournit des applications de traitement automatique du langage naturel (NLP) de niveau industriel pour les agences gouvernementales, les institutions financières, les entreprises du Fortune 50 et de nombreuses autres organisations.

L’un des principaux cas d’utilisation de Primer est d’aider les gens à détecter, à comprendre et à répondre aux campagnes de désinformation. Dans le but d’améliorer ces services, Primer a récemment acquis Yonder pour améliorer sa capacité à lutter contre les attaques de désinformation.

Nous nous sommes assis avec Sean pour discuter de la désinformation lors de la conférence Ai4 qui s’est tenue à Las Vegas. Sean est un trésor d’informations sur les campagnes de désinformation et la propagande gouvernementale. Voici notre entretien.

Qu’est-ce qui vous a initialement attiré pour apprendre et comprendre l’écosystème de la désinformation dans son ensemble ?

Alors, j’ai parlé un peu du trading haute fréquence, et c’était intéressant. J’ai regardé cela. Il y avait cet espace d’algorithmes qui essayaient de comprendre si quelque chose s’était passé dans le monde, puis de trader en fonction de cela. Et c’était primitif. C’était en 2012, et nous avons détecté du bruit.

Ils se trompaient lorsqu’ils l’interprétaient, ou lorsqu’ils interprétaient mal les signaux. Et puis il y a eu un tweet qui est sorti, prétendument, AP avait été piraté. Et leur compte Twitter a dit : « Breaking : explosion à la Maison Blanche, Barack Obama blessé. » Et puis le marché a pris cette information et a chuté, perdant environ 130 milliards de dollars à cause de ce tweet. Maintenant, je ne sais pas si cela était destiné à faire chuter le marché, s’il était destiné à créer simplement du chaos, ou s’il était destiné à faire quelque chose, mais c’était juste cette connexion à ce moment-là, j’étais comme : « Wow. » C’est comme ce papillon qui bat des ailes et crée cet impact, car il utilise l’ensemble d’acteurs algorithmiques qui ne sont vraiment pas très intelligents.

Je l’ai vu, et cela m’a fait creuser et puis j’ai commencé à regarder… Et j’ai vu qu’il y avait un tas de bots mexicains, de comptes mexicains qui prétendaient que les journalistes n’avaient pas été tués par les cartels de la drogue. Et c’est comme ça, en 2013. Et j’étais comme : « Oh mon dieu, vous avez des acteurs non étatiques, des cartels de la drogue, qui s’engagent dans cette chose pour créer une bataille de récits. Et il semble qu’ils gagnent. » Et j’étais comme : « Ce ne sont même pas des acteurs étatiques. » Et à ce moment-là, j’ai dit : « Eh bien, qu’est-ce qui se passerait si un acteur étatique se procurait cela ? À quoi ressemblerait-il et que ferait-il ? » Et puis j’ai publié un article dans Wired en 2015. C’était en fait écrit à la fin de 2014, mais c’était à propos des prévisions pour 2015. Et j’ai dit : « C’est l’année où les bots vont prendre le contrôle et contrôler les élections. »

Et cela est devenu incroyablement prémonitoire à mesure que cet article est sorti, peut-être même plus que je ne l’avais initialement pensé. Mais c’était juste en voyant cette sorte d’arc de technologie. De la même manière, nous voyions à quel point ces technologies étaient rudimentaires. C’était assez primitif. Alors tout cela a commencé à se mettre ensemble, et puis nous sommes arrivés dans cet espace où nous sommes maintenant, qui est wow, vous pouvez contrôler les récits simplement par une exposition répétée à l’information à partir des flux que vous consommez maintenant.

Croyez-vous qu’il y ait eu une élection qui a été influencée ou qu’une élection future puisse être influencée par ce type de désinformation ?

Cadre cela dans un sens ici. Premièrement, nous avons pris une mesure très étroite, qui est que la désinformation n’est pas réelle. Et je pense que c’est trop étroit. Nous devons l’élargir pour savoir qui contrôle les récits. Actuellement, le récit pourrait très bien être réel, mais il n’est peut-être pas si important.

Nous pouvons prendre une histoire si vous vous inquiétez pour la criminalité, et nous pouvons simplement diffuser massivement tous les crimes sur tous les canaux, et vous allez revenir à travers cela et penser que votre ville a traversé la vague de criminalité la plus horrible qu’elle ait jamais vue. Et tout ce que vous avez fait, c’est prendre chaque crime qui a jamais été signalé, qui n’était pas précédemment sur votre radar, et le mettre dans votre système.

Maintenant, vous allez commencer à croire que la criminalité est beaucoup plus élevée qu’elle ne l’est réellement. Elle n’a pas changé, mais vous êtes exposé davantage à cela. Donc ce n’est pas si cela s’est produit ou non, c’est si cela a lutté pour votre attention. Donc c’est une pièce. Nous sommes coincés dans cette chose de savoir si cela s’est produit ou non ? Comme si c’était la bataille. Mais la bataille est vraiment pour les visions du monde des gens. Donc, c’est une partie de cela.

La deuxième partie de cela est : bien, combien pouvez-vous influencer cela ? Eh bien, si vous n’avez pas de perception sur le fait que les vaccins causent une perte de 37 points d’IQ, ou si vous n’aviez pas précédemment de croyance que les vaccins et l’intelligence étaient liés. Si je vous disais qu’ils le faisaient, vous seriez maintenant trois fois plus susceptible de croire cela, que si quelqu’un vous disait que les vaccins augmentaient votre QI. Donc, celui qui arrive avec le premier message a la meilleure chance de vous faire croire à cette croyance, si vous n’aviez pas d’opinion à ce sujet.

Est-ce un biais dans le cerveau humain qui est vulnérable à cela ?

C’est un biais dans le cerveau humain. La deuxième chose, même si vous savez que l’information est fausse, si vous êtes exposé à cela, vous êtes plus susceptible de le croire, même si vous savez que c’est faux. Donc, il y a cette répétition d’information. Il y a la première pièce d’information lorsque vous n’aviez pas d’opinion à ce sujet. Et puis il y a l’autre chose que nous savons, c’est que si vous l’avez à partir de sources indépendantes, vous lui faites confiance plus. Et si vous l’avez à partir de personnes qui sont dans votre réseau d’amis, vous lui faites confiance plus, cela devient une méthode d’affiliation. Et nous savons que autour de 25 % est un point de basculement, si 25 % des gens commencent à croire à quelque chose, cela crée un énorme point de basculement par lequel cela devient très probable que 75 % ou 80 % des gens commencent à y croire.

Tout cela se résume à l’univers de la formation d’opinion, et à la mécanique de la façon dont les groupes arrivent à un consensus. Il y a une sous-branche de la physique, qui est la physique computationnelle, qui a étudié cela, et vous pouvez aller dans la littérature, et comprendre ces modèles de la façon dont les opinions se forment, se propagent et sont adoptées.

Vous pouvez concevoir ces systèmes si vous le souhaitez, et c’est ce que les gens commencent à faire. Je ne pense pas qu’ils soient très sophistiqués. Mais regardez, la Chine est une superpuissance de l’IA. Ils savent que gagner les guerres d’information autour de la dynamique de Taïwan devient incroyablement important. Nous devrions nous attendre à ce qu’ils prennent toutes les mesures que la technologie leur permet, pour s’engager et gagner dans ce conflit.

Comment un IA détecte-t-il la vérité fondamentale ?

Nous devons nous éloigner de cette chose de savoir ce qui est vrai, et ce que je veux dire par là, c’est que ce n’est pas à propos d’apporter des vérificateurs de faits à tout. Parce que nous avons dit, ici, regardez, un IA pourrait déterminer que, oui, ce crime a eu lieu, mais cela n’a pas d’importance. Ce n’est pas la chose. Vous croyez maintenant qu’il y a une vague de criminalité massive dans votre ville et que quelque chose doit être fait à ce sujet. N’est-ce pas ? Et quelle est la vérité fondamentale sur le fait que Taïwan appartient à la Chine ? Je veux dire, vous pouvez aller back dans l’histoire. Nous pouvons débattre de cela, mais l’IA sait-elle ? Savons-nous exactement où cela se situe ?

Nous savons maintenant que c’est une question relativement divisée. Et les États-Unis et Taïwan ont des structures de croyance. La Chine a une autre structure de croyance. Le travail de l’IA est de déterminer si quelqu’un a tenté d’influencer activement votre croyance pour croire à l’un ou l’autre.

Et c’est la deuxième chose, les gens vont utiliser l’intelligence artificielle pour essayer de vous persuader, pour vous faire croire à l’un ou l’autre, en utilisant les méthodes pour obtenir la première croyance, en obtenant une répétition continue de l’exposition à cela, en obtenant des voix indépendantes qui semblent venir de partout, en contrôlant et en choisissant 25 % de votre réseau d’influence pour essayer de vous faire basculer pour croire à l’autre côté. Ce sont toutes des techniques que l’IA peut améliorer, et que l’IA peut également défendre contre. Mais nous devons nous éloigner de cette chose de savoir si l’IA peut déterminer la vérité, car souvent, la vérité est peut-être moins importante que la bataille pour le récit.

Et comment Primer aide-t-il dans cela ?

Principalement, c’est sur la surveillance et la détection. L’une des choses qui émerge, c’est que nous sommes dans un endroit où la première fois que nous entendons parler de campagnes de désinformation, c’est six mois après qu’elles se sont produites.

Cela signifie que nous ne sommes jamais en mesure de les détecter en temps réel ?

Eh bien, ce n’est même pas en temps réel. C’est si vous nous mettez dans la chose cinétique, les missiles se sont déplacés sur la frontière des États-Unis, et six mois plus tard, nous réalisons qu’ils ont été tirés sur nous. C’est où nous sommes. Nous avons un énorme fossé à combler sur la surveillance et la reconnaissance autour de la désinformation, ou des opérations d’information que nous appelons. S’il y a eu une opération d’information qui a été menée, nous devons avoir une compréhension en temps réel, ou en quasi-temps réel, de ce à quoi cela ressemble, de ce que sont les motivations, de ce que sont les manipulations, et de mettre cela dans un endroit où nous pouvons commencer à agir pour fermer ces réseaux de bots, ou que nous pouvons commencer à limiter la diffusion de cette information.

Et quelle est votre opinion sur la menace ultime que la Chine représente dans le monde ?

C’est une grande question pour le monde. Ce que nous savons, c’est que nous sommes dans une course aux armements de l’IA avec la Chine, car le gagnant de celle-ci aura un avantage militaire très dominant sur celui qui sera deuxième dans cette course. Donc, la Chine va poursuivre les composants de l’intelligence artificielle de manière très agressive. La deuxième partie de cela est la prééminence de la fabrication de puces et des GPU avancés que Taïwan possède. Et je pense que si la Chine regarde cela, et qu’elle pourrait avoir les laboratoires de fabrication, les installations et les fonderies de Taïwan, elle serait dans une position très, très dominante dans la course aux armements de l’IA.

Maintenant, si la Chine prend cela par la force, il y a une bonne chance qu’elle finisse par détruire ces capacités, ou qu’elles soient détruites par Taïwan et que personne ne les ait. Ce qui serait bien à un certain niveau pour la Chine. Il y aurait une énorme perturbation mondiale, mais cela ne créerait pas nécessairement autant de problèmes pour la Chine si cela se produisait.

Cependant, si elle peut prendre cela intact, alors c’est un énorme avantage pour elle. Et la façon de le faire, c’est comme nous l’avons vu à Hong Kong, c’est comment, vous savez, « Vous faites vraiment partie de nous. » Et vous convainquez le reste du monde que vous faites vraiment partie de nous. Et si vous essayez de dissenter contre cette croyance ou cette opinion, alors il y aura des problèmes économiques ou autres. Donc, ce que la Chine fait, c’est une opération d’influence mondiale pour convaincre le monde que Taïwan fait partie de la Chine, pour convaincre les Taïwanais qu’ils font partie de la Chine. Et si elle peut le faire, alors tout d’un coup, la Chine a le gâteau et peut le manger aussi.

Donc, là où nous allons voir cela, c’est que la Chine va projeter des opérations d’information narratives pour convaincre le monde que Taïwan fait partie de la Chine. Et cela est reconnu par le Comité d’intelligence de la Chambre. Comme ils ont mis ensemble leur loi d’autorisation du renseignement, ils ont appelé spécifiquement les méthodes pour détecter les opérations d’influence chinoises dans les Caraïbes, en Amérique du Sud, en Amérique centrale.

C’est un appel spécifique pour la communauté du renseignement pour travailler sur cela. La loi d’autorisation du renseignement a également appelé la capacité à adopter l’intelligence artificielle, la capacité à utiliser des technologies commerciales prêtes à l’emploi, et la capacité à déployer des environnements sans code dans ces organisations. Il y a eu des choses très constructives qui sont sorties du Capitole. Certaines pièces sont ouvertes et disponibles à lire, ont été très intéressantes sur la lutte contre les campagnes de désinformation chinoises, en particulier dans les pays d’Amérique du Sud, d’Amérique centrale et des Caraïbes.

Quel rôle pensez-vous que les moteurs de recommandation comme YouTube, Facebook (META ), Twitter et TikTok ont à jouer dans l’amplification de ce faux récit ?

Une chose que nous savons sur la Chine, c’est qu’elle a arrêté Facebook de venir. Facebook est allé en Chine. En 2012, Mark Zuckerberg était comme : « Je vais apprendre le mandarin. C’est tout sur la Chine. » La Chine était comme : « Nous allons vous laisser entrer et puis adieu. »

Parce que la Chine était comme : « Eh bien, nous allons aller en enfer si nous allons laisser une entreprise américaine contrôler les flux d’information de notre population. Nous avons travaillé très dur, merci beaucoup, pour contrôler l’information que notre population reçoit. C’est ce que nous faisons. Nous sommes très bons à cela. Nous allons vous laisser entrer, nous allons apprendre de vous. Mais après cela, vous êtes parti. » Donc maintenant, Facebook n’est pas là.

Donc, le PCC a pris une décision très claire autour de la façon dont il voulait contrôler l’information. Maintenant, en tant que régime autoritaire, vous avez ce contrôle. « Vous ne pensez pas à ces idées. Vous ne dites pas ces choses. Vous ne faites pas cela. » En tant que démocratie libérale, nous devons nous engager dans la capacité de débat, et d’échange d’idées, dans un espace relativement libre et ouvert. Il y a certaines limites, mais elles sont juste aux extrémités. Donc, la Chine, je pense, a pu contrôler l’information. Les États-Unis ne peuvent pas à la même mesure, il y a une démocratie. Nous devons laisser la confusion de l’information se débrouiller elle-même. Ce qui nous rend vulnérables à ces types d’attaques d’information. Il y a une grande asymétrie dans le système. « Vous voulez permettre la liberté de discussion ? Eh bien, nous allons corrompre cela. Vous ne pouvez pas faire cela pour nous, car nous avons un très bon verrouillage de nos systèmes d’information. »

Je pense que c’est quelque chose que nous allons devoir lutter avec. Et c’est le premier type de protocole, et c’est rapidement identifier si une opération d’information est en cours sur la plateforme, alerter cela aux systèmes, le moins que nous puissions faire est de limiter la diffusion de cette information, mais aussi, si ce sont des réseaux de bots, les prendre rapidement. Le côté de la recommandation… Cela n’a pas, je dirais, été utilisé de manière malveillante par les entreprises américaines. Je ne pense pas que ce soit là où cela se situe. Pourrait-il être utilisé de manière malveillante par une entreprise externe ? Oui, potentiellement. Si vous étiez en guerre avec quelqu’un, et qu’ils contrôlaient un réseau d’information qui alimentait des récits à votre population, leur feriez-vous confiance pour être équitable et impartial ?

Eh bien, nous savons déjà ce qui s’est passé avec VK et la Russie, qui est le réseau social. Ils ont dit : « Eh bien, vous ne mettrez pas d’images de personnes mortes que nous avons tuées en Ukraine. C’est simplement interdit. Et nous allons mettre un mur d’information pour arrêter la diffusion de l’information des réseaux occidentaux dans nos réseaux. » Donc, ce qui se passe lorsque le conflit commence, c’est que les gens mettent des barrières qui disent : « Vous n’aurez pas le contrôle de l’influence de notre population. »

Je pense que la chose la plus surprenante, c’est que cela a pris peut-être trois ou quatre semaines pour que VK fasse cela. Il y a eu une fenêtre où je pense que c’était relativement ouvert, mais puis ils l’ont fermé, car ils ont réalisé que si vous ne contrôlez pas le récit dans votre population, et si vous les laissez voir les dégâts que les missiles et les attaques ont sur la population civile en Ukraine, peut-être ne veulent-ils plus se battre.

Je pense que l’une des choses qui nous ont tous surpris à propos de l’Ukraine, c’est à quel point ils sont revenus en force. Et je ne pense pas que nous étions faux en pensant que cela aurait pu être une guerre très rapide, si les gens d’Ukraine avaient posé les armes. Mais ce qui s’est passé, c’est le contraire. Ils sont revenus dans le pays, ont pris les Kalachnikov et ont commencé à se battre. Et c’était parce que le récit a basculé, et il a basculé sur certaines choses. Le Fantôme de Kiev, l’île de la vipère, la femme avec les graines de tournesol dans les poches du soldat et en disant : « Lorsque vous mourrez, les tournesols viendront. » Ces moments, les mèmes, ont résonné à travers cette population.

Maintenant, beaucoup d’entre eux n’étaient pas vraiment vrais. Ou ils ont été fabriqués. Le Fantôme de Kiev et l’île de la vipère ont été amplifiés. Ils ont survécu, mais ils ont été présentés comme des martyrs qui ont dit : « F*** vous, » et ont été tués. C’était une guerre d’information par excellence qui a créé un esprit de combat, non seulement en Ukraine, mais aussi dans les pays membres de l’OTAN et aux États-Unis pour faire voler les drapeaux d’Ukraine et dire : « Nous devons nous soucier de cela. » Cela n’avait pas à être le cas. La guerre la plus facile à gagner est celle où l’opposition ne veut pas se battre. Et c’était le pari et le gamble que les Russes ont fait, et Poutine a fait, et il s’est trompé. Et il s’est trompé car nous n’avions jamais vu une opération d’influence qui ait fait basculer un récit comme nous l’avions vu avec l’Ukraine auparavant. Et c’était excellent.

Je pense que nous sous-estimons le pouvoir des opérations d’information. Je pense que la Chine a été très attentive et je pense que nous allons voir cela se jouer. Et nous le voyons se jouer, vis-à-vis de Taïwan, et ce que le reste du monde pense à ce sujet. Et les États-Unis, je pense, s’ils veulent s’engager, doivent avoir le même ensemble de compétences pour lutter contre les opérations d’information.

Y a-t-il des derniers mots que vous vouliez partager à propos de Primer ?

Nous sommes engagés dans cette mission pour aider à soutenir les États-Unis et ses alliés pour apporter la meilleure technologie pour mettre dans les mains des combattants, et je pense que nous voulons plus d’entreprises de technologie pour venir et rejoindre cette lutte.

Merci pour cet entretien éclairant, les lecteurs qui souhaitent en savoir plus sont invités à visiter Primer.