Arjun Narayan, Responsable de la Confiance et de la Sécurité Mondiale pour SmartNews – Série d’entretiens

Arjun Narayan, est le Responsable de la Confiance et de la Sécurité Mondiale pour SmartNews une application de regroupement de nouvelles, il est également un expert en éthique de l’IA et en politique technologique. SmartNews utilise l’IA et une équipe éditoriale humaine pour agréger des nouvelles pour les lecteurs.

Vous avez joué un rôle instrumental dans l’établissement du centre Asie-Pacifique de Confiance et de Sécurité de Google à Singapour, quels ont été les principaux enseignements que vous avez tirés de cette expérience ?

Lors de la construction d’équipes de Confiance et de Sécurité, l’expertise au niveau des pays est cruciale car les abus sont très différents en fonction du pays que l’on réglemente. Par exemple, la façon dont les produits Google (GOOGL ) étaient abusés au Japon était différente de la façon dont ils étaient abusés en Asie du Sud-Est et en Inde. Cela signifie que les vecteurs d’abus sont très différents en fonction de qui abuse et du pays dans lequel on se trouve ; il n’y a donc pas d’homogénéité. C’est quelque chose que nous avons appris tôt.

J’ai également appris que la diversité culturelle est incroyablement importante lors de la construction d’équipes de Confiance et de Sécurité à l’étranger. Chez Google, nous nous sommes assurés qu’il y avait suffisamment de diversité culturelle et de compréhension au sein des personnes que nous embauchions. Nous recherchions des personnes ayant une expertise de domaine spécifique, mais également une expertise linguistique et de marché.

J’ai également constaté que l’immersion culturelle était incroyablement importante. Lorsque nous construisons des équipes de Confiance et de Sécurité au-delà des frontières, nous devons nous assurer que nos équipes d’ingénierie et commerciales puissent s’immerger. Cela aide à garantir que tout le monde est plus proche des problèmes que nous essayons de gérer. Pour cela, nous avons effectué des sessions d’immersion trimestrielles avec le personnel clé, et cela a aidé à augmenter le quotient culturel de tous.

Enfin, la compréhension interculturelle était si importante. J’ai géré une équipe au Japon, en Australie, en Inde et en Asie du Sud-Est, et la façon dont ils interagissaient était très différente. En tant que leader, vous voulez vous assurer que tout le monde peut trouver sa voix. Finalement, tout cela est conçu pour construire une équipe de haute performance capable d’exécuter des tâches sensibles comme la Confiance et la Sécurité.

Auparavant, vous faisiez également partie de l’équipe de Confiance et de Sécurité de ByteDance pour l’application TikTok, comment les vidéos qui sont souvent plus courtes d’une minute sont-elles surveillées efficacement pour la sécurité ?

Je veux reformuler un peu cette question, car cela n’a pas vraiment d’importance que la vidéo soit courte ou longue. Ce n’est pas un facteur lors de l’évaluation de la sécurité de la vidéo, et la durée n’a pas de poids réel sur la capacité de la vidéo à propager des abus.

Lorsque je pense aux abus, je pense aux “problèmes”. Quels sont les problèmes auxquels les utilisateurs sont vulnérables ? Des informations erronées ? Des désinformations ? Que la vidéo dure 1 minute ou 1 heure, il y a toujours des informations erronées qui sont partagées et le niveau d’abus reste comparable.

En fonction du type de problème, on commence à réfléchir à la mise en œuvre des politiques et des garde-fous de sécurité et à la façon dont on peut protéger les utilisateurs vulnérables. Par exemple, disons qu’il y a une vidéo de quelqu’un se faisant du mal. Lorsque nous recevons une notification que cette vidéo existe, nous devons agir avec urgence, car quelqu’un pourrait perdre la vie. Nous comptons beaucoup sur l’apprentissage automatique pour détecter ce type de contenu. Le premier mouvement est toujours de contacter les autorités pour essayer de sauver cette vie, rien n’est plus important. À partir de là, nous visons à suspendre la vidéo, la diffusion en direct ou tout format dans lequel elle est partagée. Nous devons nous assurer que nous minimisons l’exposition à ce type de contenu préjudiciable le plus rapidement possible.

De même, s’il s’agit de discours de haine, il y a différentes façons de décomposer cela. Ou dans le cas du harcèlement et de l’intimidation, cela dépend vraiment du type de problème, et en fonction de cela, nous ajusterions nos options de mise en œuvre et nos garde-fous de sécurité. Un autre exemple de bon garde-fou de sécurité était que nous avons mis en œuvre un apprentissage automatique capable de détecter lorsqu’une personne écrit quelque chose de inapproprié dans les commentaires et de fournir un rappel pour les inciter à réfléchir deux fois avant de publier ce commentaire. Nous ne les arrêterions pas nécessairement, mais notre espoir était que les gens réfléchiraient deux fois avant de partager quelque chose de méchant.

Cela se résume à une combinaison d’apprentissage automatique et de règles de mots clés. Mais, lorsqu’il s’agit de diffusions en direct, nous avions également des modérateurs humains qui examinaient ces diffusions signalées par l’IA afin qu’ils puissent signaler immédiatement et mettre en œuvre des protocoles. Puisqu’elles se produisent en temps réel, il n’est pas suffisant de compter sur les utilisateurs pour les signaler, nous devons donc avoir des humains qui surveillent en temps réel.

Depuis 2021, vous êtes le Responsable de la Confiance, de la Sécurité et de l’Expérience Client chez SmartNews, une application de regroupement de nouvelles. Pouvez-vous discuter de la façon dont SmartNews utilise l’apprentissage automatique et le traitement automatique du langage naturel pour identifier et prioriser le contenu de nouvelles de haute qualité ?

Le concept central est que nous avons certaines “règles” ou technologies d’apprentissage automatique qui peuvent analyser un article ou une publicité et comprendre de quoi il s’agit.

Lorsqu’il y a quelque chose qui viole nos “règles”, disons que quelque chose est incorrect ou trompeur, nous avons un drapeau d’apprentissage automatique qui signale ce contenu à un réviseur humain de notre équipe éditoriale. À ce stade, ils comprennent nos valeurs éditoriales et peuvent rapidement examiner l’article et prendre un jugement sur sa pertinence ou sa qualité. À partir de là, des mesures sont prises pour y remédier.

Comment SmartNews utilise-t-il l’IA pour garantir que la plateforme est sûre, inclusive et objective ?

SmartNews a été fondé sur le principe que l’hyper-personnalisation est bonne pour l’ego, mais est également polarisante et nous renforce les préjugés en nous mettant dans une bulle de filtres.

La façon dont SmartNews utilise l’IA est un peu différente, car nous ne nous concentrons pas exclusivement sur l’optimisation de l’engagement. Notre algorithme veut comprendre l’utilisateur, mais il ne le personnalise pas nécessairement à son goût. C’est parce que nous croyons en l’élargissement des perspectives. Notre moteur d’IA vous présentera des concepts et des articles au-delà des concepts adjacents.

L’idée est qu’il y a des choses que les gens ont besoin de savoir dans l’intérêt public, et qu’il y a des choses que les gens ont besoin de savoir pour élargir leur champ de vision. L’équilibre que nous essayons de trouver est de fournir ces analyses contextuelles sans être trop intrusif. Parfois, les gens n’aimeront pas les choses que notre algorithme met dans leur fil. Lorsque cela se produit, les gens peuvent choisir de ne pas lire cet article. Cependant, nous sommes fiers de la capacité de notre moteur d’IA à promouvoir la découverte, la curiosité, ou ce que vous voulez appeler.

En ce qui concerne la sécurité, SmartNews a quelque chose appelé “Score de l’éditeur”, il s’agit d’un algorithme conçu pour évaluer constamment si un éditeur est sûr ou non. Finalement, nous voulons établir si un éditeur a une voix autoritaire. Par exemple, nous pouvons tous collectivement convenir que ESPN est une autorité en matière de sports. Mais, si vous êtes un blog aléatoire qui copie le contenu d’ESPN, nous devons nous assurer que ESPN est classé plus haut que ce blog aléatoire. Le score de l’éditeur prend également en compte des facteurs tels que l’originalité, la date de publication des articles, l’apparence des critiques utilisateur, etc. C’est finalement un spectre de nombreux facteurs que nous prenons en compte.

Une chose qui prime tout est “Que veut l’utilisateur lire ?” Si un utilisateur veut afficher des articles de type “clic”, nous ne les arrêterons pas s’il n’est pas illégal ou ne viole pas nos directives. Nous n’imposons rien à l’utilisateur, mais si quelque chose est peu sûr ou inapproprié, nous avons notre devoir de diligence avant que cela n’atteigne le fil.

Quels sont vos points de vue sur les journalistes qui utilisent l’IA générative pour les aider à produire du contenu ?

Je crois que cette question est éthique et que c’est quelque chose que nous débattons actuellement chez SmartNews. Comment SmartNews devrait-il considérer les éditeurs qui soumettent du contenu formé par l’IA générative au lieu de journalistes qui l’écrivent ?

Je crois que ce train est officiellement parti. Aujourd’hui, les journalistes utilisent l’IA pour augmenter leur écriture. C’est une question d’échelle, nous n’avons pas le temps dans le monde pour produire des articles à un rythme viable commercialement, surtout à mesure que les organisations de presse continuent de réduire leur personnel. La question devient alors : quelle créativité y a-t-il dans cela ? L’article est-il poli par le journaliste ? Ou le journaliste est-il complètement dépendant ?

À ce stade, l’IA générative n’est pas en mesure d’écrire des articles sur les événements d’actualité car il n’y a pas de données de formation pour cela. Cependant, elle peut toujours vous donner un modèle générique assez bon pour le faire. Par exemple, les fusillades dans les écoles sont si courantes, on pourrait supposer que l’IA générative pourrait donner à un journaliste un modèle pour les fusillades dans les écoles et qu’un journaliste pourrait insérer l’école touchée pour obtenir un modèle complet.

De mon point de vue en travaillant avec SmartNews, il y a deux principes que je pense valent la peine d’être considérés. Premièrement, nous voulons que les éditeurs soient francs en nous disant quand le contenu a été généré par l’IA, et nous voulons l’étiqueter comme tel. Cela permettra aux gens de savoir qui a écrit l’article lorsqu’ils le liront. C’est la transparence à son plus haut niveau.

Deuxièmement, nous voulons que cet article soit factuellement correct. Nous savons que l’IA générative a tendance à inventer des choses lorsqu’elle le souhaite, et tout article écrit par l’IA générative doit être relu par un journaliste ou un rédacteur en chef.

Vous avez précédemment plaidé pour que les plateformes technologiques s’unissent et créent des normes communes pour lutter contre la toxicité numérique, à quel point est-ce une question importante ?

Je crois que cette question est d’une importance cruciale, non seulement pour que les entreprises fonctionnent de manière éthique, mais également pour maintenir un certain niveau de dignité et de civilité. À mon avis, les plateformes devraient se réunir et développer certaines normes pour maintenir cette humanité. Par exemple, personne ne devrait jamais être incité à se suicider, mais dans certaines situations, nous constatons ce type d’abus sur les plateformes, et je crois que c’est quelque chose que les entreprises devraient se réunir pour protéger.

Finalement, lorsqu’il s’agit de problèmes d’humanité, il ne devrait pas y avoir de concurrence. Il ne devrait pas y avoir de concurrence sur qui a la communauté la plus propre ou la plus sûre – nous devrions tous viser à nous assurer que nos utilisateurs se sentent en sécurité et compris. Compétition sur les fonctionnalités, pas sur l’exploitation.

Quelles sont les façons dont les entreprises numériques peuvent travailler ensemble ?

Les entreprises devraient se réunir lorsqu’il y a des valeurs partagées et des possibilités de collaboration. Il y a toujours des espaces où il y a une intersectionnalité entre les entreprises et les industries, en particulier lorsqu’il s’agit de lutter contre les abus, de garantir la civilité sur les plateformes ou de réduire la polarisation. Ce sont des moments où les entreprises devraient travailler ensemble.

Il y a bien sûr un angle commercial avec la concurrence, et la concurrence est généralement bonne. Elle aide à garantir la force et la différenciation entre les entreprises et fournit des solutions avec un niveau d’efficacité que les monopoles ne peuvent pas garantir.

Mais, lorsqu’il s’agit de protéger les utilisateurs, ou de promouvoir la civilité, ou de réduire les vecteurs d’abus, ce sont des sujets qui sont au cœur de nous pour préserver le monde libre. Ce sont des choses que nous devons faire pour nous assurer de protéger ce qui est sacré pour nous, et notre humanité. À mon avis, toutes les plateformes ont la responsabilité de collaborer pour défendre les valeurs humaines et les valeurs qui font de nous un monde libre.

Quels sont vos points de vue actuels sur l’IA responsable ?

Nous sommes au début de quelque chose de très répandu dans notre vie. Cette prochaine phase de l’IA générative est un problème que nous ne comprenons pas pleinement, ou que nous ne pouvons comprendre que partiellement à ce stade.

Lorsqu’il s’agit de l’IA responsable, il est incroyablement important que nous développons de solides garde-fous, ou nous pourrions finir avec un monstre de Frankenstein de technologies d’IA générative. Nous devons passer le temps à réfléchir à tout ce qui pourrait aller mal. Que ce soit des préjugés qui se glissent dans les algorithmes, ou de grands modèles de langage qui sont utilisés par les mauvaises personnes pour faire des actes néfastes.

La technologie elle-même n’est ni bonne ni mauvaise, mais elle peut être utilisée par de mauvaises personnes pour faire de mauvaises choses. C’est pourquoi investir du temps et des ressources dans les éthiciens de l’IA pour effectuer des tests adverses pour comprendre les défauts de conception est si critique. Cela nous aidera à comprendre comment prévenir les abus, et je pense que c’est probablement l’aspect le plus important de l’IA responsable.

Parce que l’IA ne peut pas encore penser par elle-même, nous avons besoin de personnes intelligentes qui peuvent construire ces valeurs par défaut lorsque l’IA est programmée. L’aspect important à considérer maintenant est le timing – nous avons besoin de ces acteurs positifs qui font ces choses maintenant avant qu’il ne soit trop tard.

Contrairement à d’autres systèmes que nous avons conçus et construits dans le passé, l’IA est différente car elle peut itérer et apprendre par elle-même, donc si vous ne mettez pas en place de solides garde-fous sur ce que et comment elle apprend, nous ne pouvons pas contrôler ce qu’elle pourrait devenir.

Actuellement, nous voyons certaines grandes entreprises licencier des conseils d’éthique et des équipes d’IA responsable dans le cadre de licenciements importants. Il reste à voir à quel point ces majors de la technologie prennent au sérieux la technologie et à quel point ils examinent les conséquences négatives de l’IA dans leur processus de prise de décision.

Y a-t-il autre chose que vous aimeriez partager sur votre travail avec SmartNews ?

Je me suis joint à SmartNews parce que je crois en sa mission, la mission a une certaine pureté. Je crois fortement que le monde devient de plus en plus polarisé, et qu’il n’y a pas suffisamment de littératie médiatique aujourd’hui pour aider à combattre cette tendance.

Malheureusement, il y a trop de gens qui prennent les messages WhatsApp comme évangile et les croient à leur valeur nominale. Cela peut conduire à des conséquences considérables, y compris – et en particulier – la violence. Tout cela se résume à ce que les gens ne comprennent pas ce qu’ils peuvent et ne peuvent pas croire.

Si nous n’éduquons pas les gens, ou si nous ne les informons pas sur la façon de prendre des décisions sur la fiabilité de ce qu’ils consomment. Si nous n’introduisons pas des niveaux de littératie médiatique pour faire la distinction entre les nouvelles et les fausses nouvelles, nous allons continuer à plaider pour le problème et à augmenter les problèmes que l’histoire nous a appris à ne pas faire.

L’un des éléments les plus importants de mon travail chez SmartNews est d’aider à réduire la polarisation dans le monde. Je veux remplir la mission du fondateur d’améliorer la littératie médiatique où ils peuvent comprendre ce qu’ils consomment et prendre des décisions éclairées sur le monde et les nombreuses perspectives diverses. Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus ou essayer un type différent d’application de nouvelles devraient visiter SmartNews.