Andrew Pery, Évangéliste en éthique, ABBYY – Série d’entretiens

Andrew Pery, est l’Évangéliste en éthique chez ABBYY, une entreprise de renseignement numérique. Ils permettent aux organisations d’accéder à des informations précieuses, mais souvent difficiles à obtenir, sur leurs opérations, ce qui permet une véritable transformation commerciale.

ABBYY a récemment lancé une Initiative mondiale pour la promotion du développement de l’intelligence artificielle fiable. Nous avons décidé de poser à Andrew des questions sur l’éthique de l’IA, les abus de l’IA et ce que l’industrie de l’IA peut faire à ce sujet à l’avenir.

Qu’est-ce qui a initialement suscité votre intérêt pour l’éthique de l’IA ?

Ce qui a initialement suscité mon intérêt pour l’éthique de l’IA était un intérêt profond pour l’intersection du droit et de la technologie de l’IA. J’ai commencé ma carrière dans le système de justice pénale, en représentant des défendeurs indigents qui n’avaient pas les moyens financiers de se payer des services juridiques. J’ai ensuite passé à la technologie, en me concentrant sur l’application de la recherche avancée et de l’IA dans la pratique du droit. En tant que professionnel certifié en protection des données, je suis particulièrement passionné par le droit à la protection des données et l’utilisation appropriée de la technologie de l’IA qui correspond à et renforce les droits à la protection des données.

La technologie de reconnaissance faciale est souvent utilisée de manière abusive par les autorités, y compris le gouvernement américain. Quelle est l’ampleur de cette préoccupation sociétale ?

Les implications de la technologie de reconnaissance faciale devraient être une préoccupation sociétale importante, car cette technologie peut avoir un impact sur de nombreux droits fondamentaux, notamment les droits économiques, sociaux et de sécurité.

Il existe des preuves claires et convaincantes que les algorithmes de reconnaissance faciale sont peu fiables. Une étude du NIST sur les algorithmes de reconnaissance faciale a révélé que les Afro-Américains étaient jusqu’à 100 fois plus susceptibles d’être mal identifiés. Une étude similaire de l’école de droit de Georgetown a constaté que les algorithmes de reconnaissance faciale basés sur des photos d’identité judiciaire produisaient un pourcentage élevé de faux positifs associés à des individus afro-américains, et une étude de 2018 du MIT sur le logiciel de reconnaissance faciale d’Amazon a constaté que tandis que les hommes blancs étaient identifiés avec précision 99 % du temps, les individus à peau foncée généraient jusqu’à 35 % de faux positifs.

C’est pour ces raisons que les régulateurs commencent à prendre des mesures pour interdire l’utilisation de la technologie de reconnaissance faciale, en particulier dans le contexte de la surveillance et du profilage. Par exemple, le Sénat de Californie a adopté une interdiction à l’échelle de l’État sur l’utilisation de la technologie de reconnaissance faciale et d’autres méthodes de surveillance biométrique.

Il y a également un mouvement au sein de la communauté technologique pour se retirer de la commercialisation de logiciels de reconnaissance faciale. IBM a annoncé qu’il cesserait de vendre des logiciels de reconnaissance faciale, citant le fait qu’il viole les droits de l’homme et les libertés fondamentales. Microsoft (MSFT ) a également annoncé une décision similaire pour cesser de vendre sa technologie de reconnaissance faciale, citant également les droits de l’homme fondamentaux.

Le logiciel COMPAS, qui a été utilisé par les tribunaux américains pour l’évaluation du risque de récidive, a incorrectement étiqueté les contrevenants appartenant à des minorités visibles comme plus susceptibles de récidiver que les contrevenants blancs. Devrait-on utiliser l’IA dans les tribunaux, compte tenu de cela ?

Des études sur COMPAS ont révélé qu’il n’est pas meilleur que les personnes aléatoires pour prédire les crimes. Même si l’analyse prédictive offre une valeur significative dans un contexte commercial, elle a été prouvée pour entraîner des inégalités dans son application à la justice pénale. Cela ressort clairement dans un rapport publié par Pro Publica, qui a constaté que COMPAS, le logiciel le plus populaire utilisé par les tribunaux américains pour l’évaluation du risque de récidive, a incorrectement étiqueté les contrevenants appartenant à des minorités visibles comme plus susceptibles de récidiver à un taux deux fois supérieur à celui des contrevenants blancs.

Ces inégalités ont incité l’ancien procureur général Eric Holder à remettre en question l’équité et à exprimer des inquiétudes quant aux inégalités potentielles soulevées par l’application de la technologie de l’IA pour prédire les taux de récidive au sein de la population de contrevenants.

Comment la société peut-elle éviter de programmer involontairement des préjugés négatifs dans les systèmes d’IA ?

Tout d’abord, il doit y avoir une reconnaissance du fait que l’IA peut avoir la propension à produire des préjugés involontaires, appelés préjugés inconscients. Atténuer son impact négatif nécessite une approche holistique consistant à élaborer des lignes directrices éthiques pour l’IA, telles que proposées par le cadre éthique de l’OCDE. Cela repose sur sept principes fondamentaux, notamment l’agentivité humaine et la surveillance, la robustesse et la sécurité techniques, la protection des données et la gouvernance, la transparence, la diversité et la non-discrimination, le bien-être sociétal et la responsabilité.

Deuxièmement, l’adhésion aux cadres juridiques qui protègent contre le profilage automatisé est essentielle. Par exemple, l’UE a une longue histoire de respect et de protection des droits à la protection des données, avec la plus récente et la plus puissante expression étant le Règlement général sur la protection des données (RGPD), qui protège spécifiquement contre la prise de décision automatisée.

Troisièmement, il faut que l’industrie soit responsable de la manière dont la technologie de l’IA est développée et qu’elle s’engage à fournir la transparence sans affecter ses droits de propriété intellectuelle. Il y a des développements positifs à cet égard. Par exemple, le Partenariat pour l’IA est une organisation qui compte plus de 80 membres dans 13 pays, consacrée à la recherche et à la discussion sur les questions clés de l’IA.

Enfin, les organisations technologiques devraient s’engager à effectuer une évaluation de l’impact des préjugés avant la sortie commerciale des algorithmes d’IA, en particulier lorsque leurs applications ont un impact sur les droits à la protection des données et à la sécurité. Les dirigeants technologiques devraient se poser les questions suivantes avant de sortir de nouvelles applications basées sur l’IA : Le jeu de données sur lequel cette technologie a été formée est-il suffisamment diversifié ? Comment les préjugés seront-ils détectés ? Comment sont-ils testés et par qui ? Quels sont les incitations des développeurs ? Qui en tirera un bénéfice commercial ?

Il est important de se rappeler que les solutions d’IA reflètent les données sous-jacentes sur lesquelles ces applications sont formées, il est donc essentiel de garantir que ces données ne sont pas biaisées et reflètent correctement la diversité des constituants que la solution servira. Comme l’a dit la chercheuse en IA, le professeur Joanna Bryson, « si les données sous-jacentes reflètent des stéréotypes, ou si vous formez l’IA à partir de la culture humaine, vous trouverez des préjugés. Et si nous ne sommes pas prudents, nous risquons d’intégrer ces préjugés dans les programmes informatiques qui sont rapidement en train de prendre en charge la gestion de tout, des hôpitaux aux écoles et aux prisons – des programmes qui sont censés éliminer ces préjugés en premier lieu. »

ABBYY a récemment lancé une Initiative mondiale pour la promotion du développement de l’IA fiable. Quelle est l’importance de cette initiative pour l’avenir d’ABBYY ?

La décision d’élaborer notre initiative mondiale pour l’IA fiable est une décision importante, motivée par notre conviction qu’en tant qu’organisation dont les technologies ont un impact sur les entreprises du monde entier et servent des dizaines de milliers d’utilisateurs individuels, nous avons l’obligation d’être de bons citoyens d’entreprise avec une conscience sociale. Non seulement cela aide à instaurer une confiance plus grande auprès de nos clients et partenaires mondiaux, mais cela aide également à garantir que nos technologies continuent d’avoir un impact profond de manière à bénéficier au bien commun.

Cela fait également bon sens sur le plan commercial de promouvoir et de soutenir une utilisation fiable de l’IA. Cela renforce notre image de marque, instaure la confiance avec notre écosystème de clients et de partenaires mondiaux. La confiance se traduit par des affaires répétées et par une croissance durable.

Une partie de cette initiative consiste pour ABBYY à cultiver une culture qui favorise l’utilisation éthique de l’IA et son utilité sociale. Que doivent faire les autres entreprises pour cultiver une culture similaire ?

Les entreprises technologiques doivent élaborer un cadre pour l’utilisation éthique de l’IA. L’ampleur de cet engagement dépend des applications prévues des algorithmes d’IA. La meilleure façon d’en évaluer l’impact est d’appliquer le principe de ne pas nuire et de s’engager à utiliser l’IA de manière fiable.

Il est également important de s’engager à être transparent. Même si les droits de propriété intellectuelle doivent être équilibrés avec le principe de l’IA fiable, l’importance de la transparence et de la responsabilité pour l’utilisation responsable de l’IA devrait être clairement articulée et communiquée à travers l’organisation.

L’une des initiatives auxquelles ABBYY s’est engagée consiste à fournir des technologies d’IA qui sont socialement et économiquement bénéfiques. Il peut être difficile de trouver un équilibre entre ces deux aspects. Comment les entreprises peuvent-elles mettre en œuvre cela ?

Les dirigeants peuvent atteindre cet équilibre en tenant compte des recommandations formulées par Deloitte : L’intégration de l’éthique dans l’IA commence par la détermination de ce qui compte pour les parties prenantes, telles que les clients, les employés, les régulateurs et le public en général. Les entreprises devraient établir un comité de gouvernance et de conseil en matière d’IA composé de dirigeants et de conseillers externes qui engageraient des groupes de travail multipartites et établiraient et superviseraient la gouvernance des solutions basées sur l’IA, y compris leur conception, leur développement, leur déploiement et leur utilisation.

La manière dont nous équilibrons nos intérêts commerciaux et le bien social a été récemment illustrée pendant la pandémie de coronavirus. Nous avons mis à disposition de nombreuses technologies gratuitement ou à des tarifs réduits pour aider les individus et les organisations à naviguer dans la crise, à maintenir la continuité des activités et à soutenir leurs clients dans des circonstances imprévisibles.

Nous avons également récemment mis à disposition nos cadres technologiques via NeoML, notre bibliothèque d’apprentissage automatique open source cross-plateforme qui permet aux développeurs de logiciels d’utiliser des modèles éprouvés et fiables pour faire progresser l’innovation de l’IA.

Pouvez-vous partager vos points de vue sur l’utilisation de l’IA pour les applications de traçage des contacts et les besoins de concilier le droit à la vie privée ?

C’est une question particulièrement complexe. Certains soutiennent que la mise en œuvre d’applications de suivi mobiles représente une intrusion indésirable dans les droits à la vie privée. D’un autre côté, lorsqu’il s’agit de la sécurité publique, il y a toujours des limites aux droits en général. C’est un compromis entre les droits et les responsabilités. Cependant, les droits ne sont pas absolus. La lutte contre une pandémie mondiale nécessite une action coordonnée et l’application de ressources et de technologies qui peuvent être utilisées de manière responsable pour protéger la population dans son ensemble.

Ce compromis entre les droits à la vie privée individuels et le bien commun est reconnu dans un cadre juridique. Par exemple, le RGPD identifie six fondements pour le traitement des informations personnelles, y compris une disposition selon laquelle lorsque le traitement est indispensable pour l’intérêt public, un tel traitement des informations personnelles est justifié sans obtenir le consentement de la personne concernée.

En outre, le considérant 46 du RGPD stipule explicitement que le traitement des informations personnelles est justifié sans obtenir le consentement de la personne concernée en cas d’urgences humanitaires, y compris les épidémies. Cependant, il est important de noter que le considérant 46 interprète l’application de la disposition d’intérêt public de manière très étroite, en notant qu’elle ne devrait avoir lieu que lorsque cela ne peut pas être basé sur une autre base juridique.

En dehors de l’équilibre entre les droits à la vie privée et l’intérêt public, il incombe également au secteur technologique et aux décideurs politiques de mettre en œuvre des lignes directrices éthiquement saines, transparentes et équitables concernant l’utilisation du profilage basé sur l’IA et le partage d’informations de santé hautement sensibles. Les grandes entreprises technologiques, notamment Google (GOOGL ) et Facebook (META ), ont déjà entamé des initiatives pour suivre les déplacements des utilisateurs afin d’identifier la manière dont le virus se propage et d’évaluer l’efficacité des mesures de distanciation sociale.

Je crois que tant que les informations sont anonymisées, leur utilisation a une utilité sociale.

Y a-t-il autre chose que vous aimeriez partager concernant la nouvelle Initiative mondiale d’ABBYY pour la promotion du développement de l’IA fiable ?

Les réglementations ont tendance à être en retard sur l’innovation technologique, les entreprises doivent donc jouer un rôle proactif pour favoriser la transparence et la responsabilité dans les technologies de l’IA et leur impact sur les droits à la vie privée et à la sécurité. Notre initiative reflète notre engagement dans cette entreprise. Depuis notre fondation, nous avons créé des technologies innovantes qui préservent les informations précieuses et les transforment en connaissances actionnables.

En outre, l’utilisation éthique des technologies d’IA ne devrait pas être considérée uniquement sur une base juridique, mais également comme une obligation morale et un impératif commercial. Si vos solutions ont une portée large et affectent des fonctions commerciales critiques, il devrait s’agir d’une norme de l’industrie d’être transparent dans l’application des technologies de l’IA.

Merci beaucoup d’avoir répondu à ces questions importantes. Pour consulter les principes directeurs et l’approche d’ABBYY en matière d’adhésion aux principes de l’IA fiable et de plaidoyer en faveur de ceux-ci, veuillez cliquer ici. Quiconque souhaitant en savoir plus sur ABBYY en général peut visiter le site Web d’ABBYY.