Sean Gourley, PDG et fondateur de Primer - Série d'interviews

Sean Gourley est le PDG et fondateur de Apprêt, une entreprise qui fournit des applications de traitement du langage naturel (NLP) de qualité industrielle aux agences gouvernementales, aux institutions financières, aux entreprises Fortune 50 et à de nombreuses autres organisations.

L'un des principaux cas d'utilisation de Primer est d'aider les gens à détecter, comprendre et répondre aux campagnes de désinformation. Dans le but d'améliorer ces services, Primer a récemment acquis Yonder pour améliorer sa capacité à lutter contre les attaques de désinformation.

Nous nous sommes assis avec Sean pour discuter de la désinformation lors de la récente Conférence Ai4 qui s'est tenue à Las Vegas. Sean est une mine d'informations sur les campagnes de désinformation et la propagande gouvernementale. Ci-dessous notre entretien.

Qu'est-ce qui vous a initialement attiré vers l'apprentissage et la compréhension de l'ensemble de l'écosystème de la désinformation ?

Donc, j'ai parlé un peu du trading haute fréquence, et c'était intéressant. Je cherchais à travers cela. Il y avait tout ce genre d'espace d'algorithmes, essayant de comprendre si quelque chose s'était passé dans le monde, puis d'échanger dessus. Et c'était primitif. C'était en 2012 et nous faisions du bruit.

Ils se trompaient quand ils le lisaient ou interprétaient mal les signaux. Et puis il y a eu un tweet qui est sorti, soi-disant, AP avait été piraté. Et leur compte Twitter a déclaré : « Breaking : Explosion de la Maison Blanche, Barack Obama blessé. Et puis le marché a pris cette information et a chuté, a perdu environ 130 milliards de dollars sur ce tweet. Maintenant, je ne sais pas si c'était destiné à diriger un marché, si c'était juste pour créer des ravages, ou si c'était destiné à faire quelque chose, mais c'était juste cette connexion à l'époque, je me disais "Wow". C'est comme si ce papillon battait des ailes et créait ce genre d'impact, parce que c'est en quelque sorte tirer parti de l'ensemble d'acteurs algorithmiques qu'ils ne sont vraiment pas si intelligents.

Alors j'ai vu ça, et ça m'a poussé à creuser et puis j'ai commencé à chercher… Et j'ai vu qu'il y avait tout un tas de bots mexicains, des comptes mexicains qui affirmaient que les journalistes n'étaient pas tués par des cartels de la drogue. Et c'est, genre, 2013. Et je me suis dit : « Oh mon Dieu, vous avez des acteurs non étatiques, des cartels de la drogue, qui s'engagent dans ce truc pour créer une bataille narrative. Et on dirait qu'ils gagnent. Et je me disais : "Ce ne sont même pas des acteurs étatiques." Et à ce moment-là, on a en quelque sorte dit: «Eh bien, et si un acteur étatique mettait la main dessus? À quoi cela ressemblerait-il et qu'est-ce que cela ferait? Et puis j'ai publié un article dans Wired en 2015. En fait, c'était écrit fin 2014, mais il s'agissait de prévisions pour 2015. Et j'ai dit : « Ça va être l'année où les bots vont prendre le contrôle et contrôler les élections. .”

Et c'est devenu incroyablement prémonitoire au fur et à mesure que cette pièce est sortie, peut-être même plus que je ne le pensais à l'origine. Mais c'était juste voir ce genre d'arc technologique. Du même côté, nous avons également constaté à quel point nombre de ces technologies étaient rudimentaires. C'était assez primitif. Donc, tout cela a commencé à se rassembler, puis nous avons eu ce type d'espace dans lequel nous nous sommes retrouvés, qui est wow, vous pouvez contrôler les récits simplement par une exposition répétée aux informations des flux que vous consommez maintenant.

Croyez-vous qu'il y a eu une élection qui a été influencée ou qu'une élection future pourrait être influencée par ce type de désinformation ?

Recadrer cela dans un sens ici. Premièrement, nous avons pris une mesure très étroite à ce sujet, c'est-à-dire que la désinformation n'est pas réelle. Et je pense que c'est trop étroit. Nous devons l'étendre à qui contrôle les récits. À l'heure actuelle, le récit pourrait très bien être réel, mais ce n'est peut-être pas si important.

Nous pouvons prendre une histoire si vous vous inquiétez du crime, et nous pouvons simplement diffuser massivement tous les crimes sur toutes les chaînes, et vous reviendrez et penserez que votre ville vient de traverser la vague de crime la plus horrible qu'il n'a jamais été vu. Et tout ce que vous avez fait, c'est de prendre chaque crime qui a jamais été signalé, qui n'était pas sur votre radar auparavant, et de le mettre dans votre système.

Maintenant, vous allez commencer à croire que la criminalité est beaucoup plus élevée qu'elle ne l'est en réalité. Cela n'a pas changé, mais vous y êtes davantage exposé. Il ne s'agit donc pas de savoir si ce crime a eu lieu ou non, il s'agit de savoir s'il se battait ou non pour attirer votre attention. Il s'agit donc d'une seule pièce. Nous sommes pris là-dedans, est-ce arrivé ou non? Comme si c'était la bataille. Mais la bataille est vraiment pour les visions du monde des gens. Donc, c'est un côté.

Le deuxième élément ici est, eh bien, jusqu'à quel point pouvez-vous influencer ce genre de choses ? Eh bien, si vous ne savez pas si les vaccins vous font perdre ou non 37 points de QI, ou si vous ne pensiez pas auparavant que les vaccins et l'intelligence étaient liés. Si je vous disais qu'ils l'ont fait, les vaccins ont augmenté votre QI, vous seriez maintenant trois fois plus susceptibles de le croire que si quelqu'un revenait et vous disait que les vaccins faisaient chuter votre QI. Donc, celui qui arrive avec le premier message a la meilleure chance que vous ayez cette croyance, si vous n'aviez pas d'opinion sur quelque chose auparavant.

Est-ce donc un biais dans le cerveau humain qui est vulnérable à cela ?

C'est un biais dans le cerveau humain. Deuxièmement, même si vous savez que l'information est fausse, si vous y êtes exposé, vous êtes plus susceptible de la croire, même si vous savez qu'elle est fausse. Il y a donc cette répétition d'informations. Il y a la première information sur laquelle vous n'aviez pas d'opinion auparavant. Et puis l'autre élément que nous connaissons, c'est que si vous l'avez de sources indépendantes, vous lui faites davantage confiance. Et si vous l'avez de personnes qui font partie de votre réseau d'amis, vous lui faites davantage confiance, cela devient une méthodologie d'affiliation. Et nous savons qu'environ 25 % est un point de basculement, si 25 % des gens commencent à croire quelque chose, cela crée un point de basculement massif où il devient alors très probable que 75 % ou 80 % des gens commencent à y croire.

Donc, tout cela se résume au type de monde de la formation de l'opinion et aux mécanismes par lesquels les groupes parviennent à un consensus. Il y a une sous-branche de la physique, c'est la physique computationnelle, qui a étudié cela, et vous pouvez consulter la littérature et comprendre ces modèles de la façon dont les opinions se forment, se propagent et sont adoptées.

Vous êtes en mesure de concevoir ces systèmes si vous le souhaitez, et c'est ce que les gens commencent à faire. Je ne pense pas qu'ils aient été très sophistiqués. Mais regardez, la Chine est une superpuissance de l'IA. Ils savent que gagner des guerres de l'information autour de la dynamique de Taiwan devient extrêmement important. Nous devrions nous attendre à ce qu'ils prennent toutes les mesures que la technologie permet, pour s'engager et gagner dans ce conflit.

Nous savons comment les humains en sont victimes, mais comment une IA détecte-t-elle la vérité fondamentale ?

Nous devons nous éloigner de ce qui est vrai, et ce que je veux dire par là, c'est qu'il ne s'agit pas d'amener des vérificateurs de faits à tout. Parce que nous avons dit, ici, écoutez, une IA pourrait déterminer que, oui, ce crime a bien eu lieu, mais cela n'a pas d'importance. Ce n'est pas la chose. Vous pensez maintenant qu'il y a une énorme vague de criminalité dans votre ville et que quelque chose doit être fait à ce sujet. Droite? Et quelle est la vérité fondamentale sur l'appartenance ou non de Taiwan à la Chine ? Je veux dire, vous pouvez remonter historiquement. Nous pouvons en débattre, mais est-ce que l'IA le sait ? Sait-on exactement où cela se trouve ?

Nous savons maintenant que c'est une question qui divise relativement. Et les États-Unis et Taïwan ont des structures de croyance. La Chine a une autre structure de croyance. Le travail de l'IA n'est pas de savoir qui a raison là-dessus. Le travail de l'IA consiste à déterminer si quelqu'un a essayé ou non de vous influencer activement pour que vous croyiez d'un côté ou de l'autre.

Et c'est le deuxième élément, les gens utiliseront l'intelligence artificielle pour tenter de vous persuader, de croire un côté ou l'autre, en utilisant les méthodes pour obtenir la première croyance, obtenir une répétition continue de l'exposition à cela, faire passer des voix apparemment indépendantes, contrôler et choisir 25% de votre réseau d'influence pour espérer vous faire basculer pour croire l'autre camp. Ce sont toutes des techniques que l'IA peut améliorer, et contre lesquelles l'IA peut également se défendre. Mais nous devons nous éloigner de cette question de savoir si l'IA peut déterminer la vérité, car souvent, la vérité est peut-être moins importante que la bataille pour le récit.

Et comment Primer y contribue-t-il ?

Il s'agit donc principalement de surveillance et de détection. L'une des choses qui ressort, c'est que nous sommes dans un endroit où la première fois que nous entendons souvent parler de campagnes de désinformation, c'est six mois après qu'elles se sont produites.

Ce qui signifie que nous ne sommes jamais en mesure d'attraper cela en temps réel ?

Eh bien, ce n'est même pas en temps réel. C'est si vous nous mettez dans le truc cinétique, les missiles se sont déplacés vers la frontière des États-Unis, et six mois plus tard, nous nous rendons compte qu'ils nous ont été tirés dessus. C'est là où nous en sommes. Nous avons un énorme vide à combler en matière de surveillance et de reconnaissance autour de la désinformation, ou des opérations d'information que nous appelons. S'il y a eu une opération d'information qui a été menée, nous devons comprendre en temps réel ou presque ce à quoi cela ressemble, quelles sont les motivations, quelles sont les manipulations, et mettre cela à un endroit où nous pouvons commencer soit agir pour fermer ces réseaux de robots, soit nous pouvons chercher à commencer à limiter la diffusion de ces informations.

Et que pensez-vous de la menace ultime que représente la Chine dans le monde ?

C'est une grande question pour le monde. Ce que nous savons, c'est que nous sommes dans une course aux armements contre l'IA avec la Chine, car le vainqueur de celle-ci aura un avantage militaire très dominant sur celui qui occupe la deuxième place dans cette course. La Chine va donc poursuivre les composants de l'intelligence artificielle de manière très agressive. Le deuxième élément est l'importance de la fabrication de puces et des GPU avancés dont dispose Taiwan. Et je pense que si la Chine envisage cela, et qu'elle pourrait avoir les laboratoires de fabrication, les installations et les fonderies de Taiwan, elle serait dans une position très, très dominante dans une course aux armements en IA.

Maintenant, si la Chine prend cela par la force, il y a de fortes chances qu'elle finisse par détruire ces capacités, ou qu'elles soient détruites par Taïwan et que personne ne les ait. Ce qui serait bien à un certain niveau pour la Chine. Il y aurait d'énormes perturbations à l'échelle mondiale, mais cela ne créerait pas nécessairement autant de problèmes pour la Chine si cela se produisait.

Cependant, s'ils peuvent le prendre en entier, c'est un énorme avantage pour eux. Et la façon dont vous faites cela est comme nous l'avons vu à Hong Kong, c'est comment, vous savez, "Vous faites vraiment partie de nous." Et tu convaincs le reste du monde qu'ils font vraiment partie de nous. Et si vous essayez de vous opposer à cette croyance ou à cette opinion, alors il y aura des problèmes économiques ou autres. Donc, ce que la Chine est engagée va être une opération d'influence mondiale pour convaincre le monde que Taiwan fait partie de la Chine, pour convaincre les Taïwanais qu'ils font partie de la Chine. Et s'ils peuvent le faire, alors tout d'un coup la Chine a le gâteau et peut le manger aussi.

Donc, là où nous allons voir cela, la Chine va projeter des opérations d'information narrative pour convaincre le monde que Taiwan fait partie de la Chine. Et cela est reconnu par le House Intelligence Committee. En élaborant leur loi sur l'autorisation du renseignement, ils ont spécifiquement appelé à des méthodes de détection des opérations d'influence chinoise dans les Caraïbes, en Amérique du Sud et en Amérique centrale.

C'est un appel spécifique à la communauté du renseignement pour qu'elle travaille sur ce sujet. L'Intelligence Authorization Act a également appelé la capacité à adopter l'intelligence artificielle, la capacité à utiliser des technologies commerciales prêtes à l'emploi et la capacité à déployer des environnements sans code dans ces organisations. Il y a eu des trucs vraiment constructifs qui sortent de la Colline. Certains articles sont ouverts et disponibles à la lecture, ont été très intéressants sur la lutte contre les campagnes de désinformation chinoises, en particulier dans les pays d'Amérique du Sud, d'Amérique centrale et des Caraïbes.

Selon vous, quel rôle les moteurs de recommandation comme YouTube, Facebook, Twitter et TikTok doivent-ils jouer dans l'amplification de ce faux récit ?

Une chose que nous savons à propos de la Chine, c'est qu'ils ont empêché Facebook d'entrer. Facebook est entré en Chine. En 2012, Mark Zuckerberg disait : « Je vais apprendre le mandarin. Tout tourne autour de la Chine. La Chine était comme, "Nous allons vous laisser entrer et maintenant au revoir."

Parce que la Chine était comme, « Eh bien, au diable que nous allons laisser une entreprise américaine contrôler les flux d'informations de notre population. Nous avons travaillé très fort, merci beaucoup, pour contrôler l'information que reçoit notre population. Ceci est ce que nous faisons. Nous sommes très bons à ça. Nous vous laisserons entrer, nous apprendrons de vous. Mais après ça, tu es parti. Alors maintenant, Facebook n'est pas là.

Ainsi, le PCC (Parti communiste chinois) a pris une décision très claire sur la manière dont il voulait contrôler l'information. Maintenant, en tant que régime autoritaire, vous avez ce contrôle. « Vous n'allez pas penser à ces idées. Vous n'allez pas dire ces choses. Tu ne vas pas faire ça. En tant que démocratie libérale, nous devons nous engager dans la capacité du débat et de l'échange d'idées, dans un espace relativement libre et ouvert. Il y a certaines limites, mais elles sont à la limite. Donc la Chine, je pense, était capable de contrôler l'information. Les États-Unis ne peuvent pas dans la même mesure, il y a une démocratie. Nous devons laisser le désordre de l'information se battre. C'est pourquoi nous sommes devenus sensibles à ces types d'attaques d'informations. Il y a une grande asymétrie dans le système. « Vous voulez permettre la liberté de discussion ? Eh bien, nous allons corrompre cela. Vous ne pouvez pas nous faire ça parce que nous avons de très bons verrouillages de nos systèmes d'information.

Je pense que c'est quelque chose avec lequel nous allons nous débattre. Et son premier type de protocole, et qui consiste à identifier rapidement si leur opération d'information est exécutée sur la plate-forme, alerter que pour les systèmes, le moins est de limiter le type de diffusion de cette information, mais aussi, s'il n'y a pas -réseaux de bots, supprimez-les rapidement. Le côté recommandation de cela… Cela n'a pas, je dirais, été utilisé de manière malveillante par les entreprises américaines. Je ne pense pas que ce soit là. Pourrait-il être utilisé à des fins malveillantes par une société externe ? Ouais, potentiellement. Si vous étiez en guerre avec quelqu'un et qu'il avait le contrôle d'un réseau d'information qui alimentait les récits de votre population, feriez-vous confiance à lui pour qu'il soit juste et impartial ?

Eh bien, nous savons déjà ce qui s'est passé avec VK et la Russie, qui est le réseau social. Ils ont dit : « Eh bien, vous n'allez pas mettre d'images de personnes décédées que nous avons tuées en Ukraine. C'est juste interdit. Et nous allons mettre en place un mur d'information pour arrêter la diffusion d'informations des réseaux occidentaux dans nos réseaux. Donc, ce qui se passe quand un conflit commence, c'est que les gens érigent des barrières qui disent : « Vous n'aurez pas le contrôle de l'influence sur notre population.

Donc je pense que le truc du manuel, il a fallu peut-être trois ou quatre semaines à VK pour le faire. Il y avait une fenêtre où je pense que c'était relativement ouvert, mais ensuite ils l'ont fermée, parce qu'ils ont réalisé que si vous ne contrôlez pas le récit dans votre population, et si vous les laissez voir les dégâts que les missiles et les attaques ont sur la population civile en Ukraine, peut-être qu'ils ne veulent plus se battre.

Je pense que l'une des choses dont nous sommes tous surpris avec l'Ukraine, c'est la force de ses allers-retours. Et je ne pense pas que nous nous soyons trompés en pensant que cela aurait pu être une guerre très rapide, si les Ukrainiens avaient déposé leurs armes. Mais ce qui s'est passé, c'est le contraire. Ils sont revenus dans le pays, ont récupéré les kalachnikovs et ont commencé à se battre. Et c'est parce que le récit a basculé, et il a basculé sur certains éléments clés. Le Fantôme de Kiev, Snake Island, la femme avec les graines de tournesol dans les poches du soldat et disant : "Quand tu mourras, les tournesols viendront." Ces moments, les mèmes, ils ont résonné à travers cette population.

Maintenant, beaucoup d'entre eux n'étaient pas réellement vrais. Ou ils ont été fabriqués. Le fantôme de Kiev et Snake Island a été amplifié. Ils ont survécu, mais ils ont été jetés comme des martyrs qui ont dit "Va te faire foutre" et ont été tués. C'était une guerre de l'information par excellence qui a créé un esprit combatif, non seulement en Ukraine, mais aussi dans les pays membres de l'OTAN, et aux États-Unis pour faire flotter des drapeaux ukrainiens et dire : « Nous devons nous en soucier. Cela ne devait pas être le cas. La guerre la plus facile à gagner est celle où l'opposition ne veut pas se battre. Et c'était le pari et le pari que les Russes ont fait, et que Poutine a fait, et il s'est trompé. Et il avait tort parce que nous n'avions jamais vu une opération d'influence qui était revenue pour gagner une guerre narrative comme nous n'en avions jamais vu avec l'Ukraine auparavant. Et c'était excellent.

Je pense que nous sous-estimons le pouvoir des opérations d'information. Je pense que la Chine a été très attentive et je pense que nous allons voir cela se jouer. Et nous voyons cela se jouer, vis-à-vis de Taiwan, et ce que le reste du monde en pense. Et les États-Unis, je pense que s'ils veulent s'engager, ils doivent avoir le même ensemble de compétences, pour combattre les opérations d'information.

Y a-t-il un dernier mot que vous vouliez partager à propos de Primer ?

Nous sommes engagés dans cette mission pour aider les États-Unis et leurs alliés à apporter la meilleure technologie à mettre entre les mains des combattants, et je pense que nous voulons que davantage d'entreprises technologiques viennent se joindre à ce combat.

Merci pour cette interview éclairante, les lecteurs qui souhaitent en savoir plus sont invités à visiter Apprêt.