Sean Gourley, PDG et fondateur de Primer - Série d'interviews

Sean Gourley est le PDG et fondateur de Apprêt, une entreprise qui fournit des applications de traitement du langage naturel (NLP) de qualité industrielle aux agences gouvernementales, aux institutions financières, aux entreprises Fortune 50 et à de nombreuses autres organisations.

L'un des principaux cas d'utilisation de Primer est d'aider les gens à détecter, comprendre et répondre aux campagnes de désinformation. Dans le but d'améliorer ces services, Primer a récemment acquis Yonder pour améliorer sa capacité à lutter contre les attaques de désinformation.

Nous nous sommes assis avec Sean pour discuter de la désinformation lors de la récente Conférence Ai4 qui s'est tenue à Las Vegas. Sean est une mine d'informations sur les campagnes de désinformation et la propagande gouvernementale. Ci-dessous notre entretien.

Qu'est-ce qui vous a initialement attiré vers l'apprentissage et la compréhension de l'ensemble de l'écosystème de la désinformation ?

Donc, j'ai parlé un peu du trading haute fréquence, et c'était intéressant. Je cherchais à travers cela. Il y avait tout ce genre d'espace d'algorithmes, essayant de comprendre si quelque chose s'était passé dans le monde, puis d'échanger dessus. Et c'était primitif. C'était en 2012 et nous faisions du bruit.

Ils se trompaient en lisant le message ou en interprétant mal les signaux. Puis un tweet a été publié, affirmant que l'AP avait été piratée. Leur compte Twitter indiquait : « Dernières nouvelles : explosion à la Maison-Blanche, Barack Obama blessé. » Le marché a alors repris cette information et a chuté, perdant environ 130 milliards de dollars à cause de ce tweet. Je ne sais pas si c'était pour stimuler le marché, si c'était juste pour semer le chaos, ou si c'était pour faire quelque chose, mais c'était juste ce lien à l'époque, et je me suis dit : « Waouh ! » C'est comme un papillon qui bat des ailes et crée un impact, car cela exploite en quelque sorte l'ensemble des acteurs algorithmiques qui ne sont pas si intelligents.

J'ai vu ça, et ça m'a poussé à creuser, puis j'ai commencé à chercher… J'ai vu qu'il y avait tout un tas de bots mexicains, des comptes mexicains qui affirmaient que les journalistes n'avaient pas été tués par les cartels de la drogue. On était en 2013. Je me suis dit : « Oh là là, des acteurs non étatiques, des cartels de la drogue, se livrent à cette histoire pour créer une bataille narrative. Et on dirait qu'ils sont en train de gagner. » Et je me suis dit : « Ce ne sont même pas des acteurs étatiques. » Et à ce moment-là, je me suis demandé : « Et si un acteur étatique mettait la main dessus ? À quoi cela ressemblerait-il et quel serait l'effet ? » J'ai ensuite publié un article dans Wired en 2015. Il a été écrit fin 2014, mais il portait sur les prédictions pour 2015. Je me suis dit : « Cette année, les bots vont prendre le contrôle des élections. »

Et c'est devenu incroyablement prémonitoire à mesure que cet article est arrivé, peut-être même plus que je ne l'avais imaginé au départ. Mais c'était simplement le fait de voir cette évolution technologique. Parallèlement, nous constations aussi à quel point nombre de ces technologies étaient rudimentaires. C'était assez primitif. Tout cela a commencé à prendre forme, et nous avons alors créé ce type d'espace dans lequel nous nous sommes retrouvés : « Waouh ! » On peut contrôler les récits simplement par une exposition répétée aux informations des flux que l'on consomme aujourd'hui.

Croyez-vous qu'il y a eu une élection qui a été influencée ou qu'une élection future pourrait être influencée par ce type de désinformation ?

Pour revenir à cela, d'une certaine manière. Premièrement, nous avons adopté une approche très restrictive : la désinformation n'est pas réelle. Et je pense que c'est trop restrictif. Nous devons élargir notre analyse à ceux qui contrôlent les récits. Pour l'instant, les récits peuvent très bien être réels, mais ils ne sont peut-être pas si importants.

Si vous vous inquiétez de la criminalité, nous pouvons prendre une information et la diffuser massivement sur toutes les chaînes. À votre retour, vous penserez que votre ville vient de traverser la vague de criminalité la plus horrible de son histoire. Il vous suffit de prendre en compte tous les crimes signalés, qui n'étaient pas sur votre radar, et de les enregistrer dans votre système.

Maintenant, vous allez commencer à croire que la criminalité est bien plus élevée qu'elle ne l'est en réalité. Elle n'a pas changé, mais vous y êtes davantage exposé. La question n'est donc pas de savoir si le crime a eu lieu ou non, mais s'il cherchait à attirer votre attention. C'est donc un élément. On se retrouve pris dans cette question : « A-t-il eu lieu ou non ? » Comme si c'était là la véritable bataille. Mais la bataille porte en réalité sur la vision du monde des gens. Voilà donc un aspect de la question.

Le deuxième point est : dans quelle mesure pouvez-vous influencer ces choses ? Eh bien, si vous ne savez pas si les vaccins font perdre 37 points de QI, ou si vous ne croyiez pas auparavant que les vaccins et l’intelligence étaient liés, si je vous disais que c’est le cas, que les vaccins ont augmenté votre QI, vous auriez maintenant trois fois plus de chances d’y croire que si quelqu’un vous disait que les vaccins ont fait baisser votre QI. Donc, celui qui vous présente le premier message a plus de chances de vous faire croire cela, si vous n’aviez pas d’opinion sur un sujet auparavant.

Est-ce donc un biais dans le cerveau humain qui est vulnérable à cela ?

C'est un biais dans le cerveau humain. Deuxièmement, même si vous savez qu'une information est fausse, si vous y êtes exposé, vous êtes plus susceptible d'y croire, même si vous savez qu'elle est fausse. Il y a donc cette répétition d'informations. Il y a la première information sur laquelle vous n'aviez auparavant aucune opinion. Ensuite, nous savons que si vous l'obtenez de sources indépendantes, vous lui faites davantage confiance. Et si vous l'obtenez de personnes de votre réseau d'amis, vous lui faites davantage confiance ; cela devient une méthodologie d'affiliation. Et nous savons qu'environ 25 % est un point de bascule : si 25 % des gens commencent à croire quelque chose, cela crée un point de bascule massif où il devient alors très probable que 75 % ou 80 % des gens y croient.

Tout cela se résume donc au monde de la formation des opinions et aux mécanismes par lesquels les groupes parviennent à un consensus. Il existe une sous-branche de la physique, la physique computationnelle, qui étudie ce sujet. On peut consulter la littérature pour comprendre ces modèles de formation, de propagation et d'adoption des opinions.

Vous pouvez concevoir ces systèmes si vous le souhaitez, et c'est ce que les gens commencent à faire. Je ne pense pas qu'ils soient très sophistiqués. Mais voyez-vous, la Chine est une superpuissance de l'IA. Elle sait que gagner les guerres de l'information autour de la dynamique de Taïwan devient extrêmement important. Nous devons nous attendre à ce qu'elle mette tout en œuvre grâce à la technologie pour s'engager et gagner ce conflit.

Nous savons comment les humains en sont victimes, mais comment une IA détecte-t-elle la vérité fondamentale ?

Il faut s'éloigner de cette question de vérité, et ce que je veux dire par là, c'est qu'il ne s'agit pas d'imposer des vérificateurs de faits à tout. Car nous avons dit : « Voyons, une IA pourrait déterminer que, oui, ce crime a bien eu lieu, mais que cela n'a pas d'importance. » Là n'est pas la question. Vous pensez maintenant qu'il y a une vague de criminalité massive dans votre ville et qu'il faut agir. N'est-ce pas ? Et quelle est la vérité fondamentale sur l'appartenance de Taïwan à la Chine ? On peut remonter dans le temps. On peut en débattre, mais l'IA le sait-elle ? Savons-nous exactement où cela se trouve ?

Nous savons maintenant que c'est une question relativement controversée. Les États-Unis et Taïwan ont des systèmes de croyances. La Chine en a un autre. Le rôle de l'IA n'est pas de déterminer qui a raison sur ce point, mais de déterminer si quelqu'un a activement tenté de vous influencer pour vous faire croire à un camp ou à l'autre.

Et c'est le deuxième point : l'intelligence artificielle est utilisée pour tenter de vous persuader de croire l'un ou l'autre camp, en utilisant des méthodes comme la première croyance, l'exposition répétée à cette croyance, la diffusion de voix apparemment indépendantes, le contrôle et la sélection de 25 % de votre réseau d'influence dans l'espoir de vous faire changer d'avis. Ce sont autant de techniques que l'IA peut améliorer et contre lesquelles elle peut aussi se défendre. Mais il faut abandonner la question de savoir si l'IA peut déterminer la vérité, car souvent, la vérité est peut-être moins importante que la bataille pour le récit.

Et comment Primer y contribue-t-il ?

Il s'agit donc principalement de surveillance et de détection. L'un des constats est que nous sommes dans une situation où nous entendons souvent parler pour la première fois de campagnes de désinformation six mois après leur apparition.

Ce qui signifie que nous ne sommes jamais en mesure d'attraper cela en temps réel ?

Eh bien, ce n'est même pas en temps réel. Si on nous met dans une situation cinétique, des missiles se sont approchés de la frontière américaine et, six mois plus tard, on se rend compte qu'ils ont été tirés sur nous. Voilà où nous en sommes. Nous avons un énorme déficit à combler en matière de surveillance et de reconnaissance autour de la désinformation, ou de ce que nous appelons les opérations d'information. Si une opération d'information a été menée, nous devons comprendre en temps réel, ou presque, à quoi elle ressemble, quelles sont les motivations et les manipulations, et mettre tout cela en place pour pouvoir agir soit pour démanteler ces réseaux de robots, soit pour limiter la diffusion de ces informations.

Et quelle est votre opinion sur la menace ultime que représente la Chine dans le monde ?

C'est une grande question pour le monde. Ce que nous savons, c'est que nous sommes engagés dans une course aux armements en matière d'IA avec la Chine, car le vainqueur disposera d'un avantage militaire considérable sur le deuxième. La Chine va donc se lancer dans la conquête des composants de l'intelligence artificielle avec une grande agressivité. Le deuxième élément est la prédominance de Taïwan dans la fabrication de puces et de GPU avancés. Je pense que si la Chine s'y intéresse, et qu'elle dispose des laboratoires, des installations et des fonderies de Taïwan, elle occupera une position très dominante dans la course aux armements en matière d'IA.

Or, si la Chine s'empare de ces ressources par la force, il y a de fortes chances qu'elle finisse par les détruire, ou qu'elles soient détruites par Taïwan, et que personne ne les possède. Ce serait acceptable dans une certaine mesure pour la Chine. Cela entraînerait d'énormes perturbations à l'échelle mondiale, mais cela ne poserait pas nécessairement de problèmes majeurs pour la Chine.

Cependant, s'ils parviennent à l'assumer dans son intégralité, ce sera un avantage considérable pour eux. Et pour y parvenir, comme nous l'avons vu à Hong Kong, il faut dire : « Vous faites vraiment partie de nous. » Et convaincre le reste du monde qu'ils font vraiment partie de nous. Et si vous tentez de contester cette croyance ou cette opinion, cela entraînera des problèmes économiques ou autres. La Chine se lance donc dans une opération d'influence mondiale pour convaincre le monde que Taïwan fait partie de la Chine, pour convaincre les Taïwanais qu'ils font partie de la Chine. Et si elle y parvient, alors, tout à coup, la Chine aura le beurre et l'argent du beurre.

Nous allons donc observer cela : la Chine va déployer des opérations d'information narrative pour convaincre le monde que Taïwan fait partie de la Chine. La commission du renseignement de la Chambre des représentants l'a reconnu. Dans le cadre de l'élaboration de sa loi d'autorisation du renseignement, elle a spécifiquement mis en avant des méthodes permettant de détecter les opérations d'influence chinoises dans les Caraïbes, en Amérique du Sud et en Amérique centrale.

C'est un appel spécifique lancé à la communauté du renseignement pour qu'elle se penche sur ce sujet. L'Intelligence Authorization Act a également prévu la possibilité d'adopter l'intelligence artificielle, d'utiliser des technologies commerciales prêtes à l'emploi et de déployer des environnements sans code au sein de ces organisations. Des contributions très constructives ont été présentées au Congrès. Certaines sont ouvertes et consultables, et se sont révélées très intéressantes sur la lutte contre les campagnes de désinformation chinoises, notamment en Amérique du Sud, en Amérique centrale et dans les Caraïbes.

Selon vous, quel rôle les moteurs de recommandation comme YouTube, Facebook, Twitter et TikTok doivent-ils jouer dans l'amplification de ce faux récit ?

Une chose que l'on sait de la Chine, c'est qu'elle a empêché Facebook de s'implanter. Facebook s'est implanté en Chine. En 2012, Mark Zuckerberg a déclaré : « Je vais apprendre le mandarin. Tout tourne autour de la Chine. » La Chine a répondu : « On vous laisse entrer, et maintenant, au revoir. »

Parce que la Chine disait : « Tant pis pour nous, on va laisser une entreprise américaine contrôler les flux d'information de notre population. On a travaillé dur, merci beaucoup, pour contrôler l'information que notre population reçoit. C'est ce qu'on fait. On est très doués pour ça. On vous laisse entrer, on apprend de vous. Mais après ça, vous êtes parti. » Donc, Facebook n'est plus là.

Le PCC (Parti communiste chinois) a donc pris une décision très claire quant à la manière dont il souhaitait contrôler l'information. Or, en tant que régime autoritaire, vous avez ce contrôle. « Vous ne pouvez pas penser à ces idées. Vous ne pouvez pas dire ces choses. Vous ne pouvez pas faire cela. » En tant que démocratie libérale, nous devons nous engager dans le débat et l'échange d'idées, dans un espace relativement libre et ouvert. Il y a certaines limites, mais elles sont très limitées. Je pense donc que la Chine a pu contrôler l'information. Les États-Unis ne le peuvent pas autant, car c'est une démocratie. Nous devons laisser le chaos de l'information se dissiper. C'est pourquoi nous sommes devenus vulnérables à ce type d'attaques informatiques. Il existe une forte asymétrie dans le système. « Vous voulez permettre la liberté de discussion ? Eh bien, nous allons la corrompre. Vous ne pouvez pas nous faire cela, car nos systèmes d'information sont très bien verrouillés. »

Je pense que c'est un problème auquel nous allons devoir faire face. Le premier type de protocole consiste à identifier rapidement si des opérations d'information sont exécutées sur la plateforme, à en informer les systèmes, à tout le moins à limiter la diffusion de ces informations, mais aussi, s'il existe des réseaux non robotisés, à les démanteler rapidement. Côté recommandation… Je dirais que cela n'a pas été utilisé à des fins malveillantes par des entreprises américaines. Je ne pense pas que ce soit le cas. Une entreprise externe pourrait-elle l'utiliser à des fins malveillantes ? Oui, potentiellement. Si vous étiez en guerre avec quelqu'un qui contrôlait un réseau d'information diffusant des informations auprès de votre population, lui feriez-vous confiance pour son impartialité ?

On sait déjà ce qui s'est passé avec VK et la Russie, le réseau social. Ils ont dit : « Vous n'allez pas publier d'images de personnes tuées en Ukraine. C'est tout simplement interdit. Et nous allons installer un mur d'information pour empêcher la diffusion d'informations des réseaux occidentaux vers nos réseaux. » Alors, lorsqu'un conflit éclate, les gens érigent des barrières qui disent : « Vous n'aurez pas le contrôle de notre population. »

Donc, comme d'habitude, il a fallu trois ou quatre semaines à VK pour y parvenir. Il y a eu une période où, je pense, c'était relativement ouvert, mais ils l'ont ensuite fermée, car ils ont compris que si on ne contrôlait pas le discours de la population et qu'on leur laissait voir les dégâts causés par les missiles et les attaques sur la population civile ukrainienne, ils pourraient ne plus vouloir se battre.

Je pense que l'une des choses qui nous a tous surpris avec l'Ukraine, c'est la force avec laquelle ils se sont affrontés. Et je ne pense pas que nous ayons eu tort de penser que la guerre aurait pu être très rapide si les Ukrainiens avaient déposé les armes. Mais c'est tout le contraire qui s'est produit. Ils sont revenus au pays, ont pris leurs kalachnikovs et ont commencé à se battre. Et c'est parce que le récit a basculé, et sur des points clés. Le fantôme de Kiev, l'île aux serpents, la femme avec des graines de tournesol dans les poches du soldat et disant : « Quand tu mourras, les tournesols viendront. » Ces moments, ces mèmes, ont trouvé un écho auprès de cette population.

Beaucoup d'entre elles n'étaient pas vraies. Ou alors elles étaient fabriquées de toutes pièces. Le fantôme de Kiev et de l'Île aux Serpents a été amplifié. Ils ont survécu, mais ils ont été présentés comme des martyrs qui ont dit « Va te faire foutre » et ont été tués. C'était une guerre de l'information par excellence, qui a créé un esprit combatif, non seulement en Ukraine, mais aussi dans les pays membres de l'OTAN et aux États-Unis, pour faire flotter des drapeaux ukrainiens et proclamer : « Nous devons nous en préoccuper. » Il n'était pas nécessaire que ce soit le cas. La guerre la plus facile à gagner est celle où l'opposition ne veut pas se battre. C'était le pari et le pari que les Russes et Poutine ont fait, et ils ont eu tort. Et il avait tort, car nous n'avions jamais vu une opération d'influence réussir une guerre narrative comme celle que nous avions connue avec l'Ukraine auparavant. Et c'était excellent.

Je pense que nous sous-estimons le pouvoir des opérations d'information. La Chine y prête une attention particulière et nous allons voir ce qui se passera. Nous le voyons d'ailleurs vis-à-vis de Taïwan et de l'opinion du reste du monde à ce sujet. Quant aux États-Unis, s'ils veulent s'engager, ils doivent disposer des mêmes compétences pour lutter contre les opérations d'information.

Y a-t-il un dernier mot que vous vouliez partager à propos de Primer ?

Nous sommes engagés dans cette mission pour aider les États-Unis et leurs alliés à mettre la meilleure technologie entre les mains des combattants, et je pense que nous voulons que davantage d'entreprises technologiques viennent se joindre à ce combat.

Merci pour cette interview éclairante, les lecteurs qui souhaitent en savoir plus sont invités à visiter Apprêt.