Nora Petrova, Ingénieur en apprentissage automatique et consultante en IA chez Prolific – Série d’entretiens

Nora Petrova est ingénieur en apprentissage automatique et consultante en IA chez Prolific. Prolific a été fondé en 2014 et compte déjà des organisations comme Google (GOOGL ), l’Université de Stanford, l’Université d’Oxford, King’s College London et la Commission européenne parmi ses clients, qui utilisent son réseau de participants pour tester de nouveaux produits, former des systèmes d’IA dans des domaines tels que le suivi des yeux et déterminer si leurs applications d’IA orientées vers l’humain fonctionnent comme leurs créateurs l’avaient intentionné.

Pouvez-vous partager des informations sur votre parcours chez Prolific et votre carrière à ce jour ? Qu’est-ce qui vous a intéressé dans l’IA ?

Mon rôle chez Prolific est partagé entre être conseillère en matière d’utilisation de l’IA et d’opportunités, et être une ingénieur en apprentissage automatique plus pratique. J’ai commencé ma carrière en ingénierie logicielle et me suis progressivement tournée vers l’apprentissage automatique. J’ai passé la majeure partie des cinq dernières années à me concentrer sur les cas d’utilisation et les problèmes de traitement automatique des langues.

Ce qui m’a initialement intéressé dans l’IA, c’est la capacité d’apprendre à partir de données et le lien avec la façon dont nous, les humains, apprenons et dont notre cerveau est structuré. Je pense que l’apprentissage automatique et les neurosciences peuvent se compléter et nous aider à mieux comprendre comment construire des systèmes d’IA capables de naviguer dans le monde, de faire preuve de créativité et d’apporter une valeur ajoutée à la société.

Quels sont les plus grands problèmes de biais d’IA dont vous êtes personnellement consciente ?

Le biais est inhérent aux données que nous alimentons dans les modèles d’IA, et il est très difficile de l’éliminer complètement. Cependant, il est essentiel que nous soyons conscients des biais qui se trouvent dans les données et que nous trouvions des moyens d’atténuer les biais nocifs avant de confier des tâches importantes à ces modèles dans la société. Les plus grands problèmes que nous rencontrons sont les modèles qui perpétuent des stéréotypes nuisibles, des préjugés systémiques et des injustices dans la société. Nous devons être conscients de la manière dont ces modèles d’IA seront utilisés et de l’influence qu’ils auront sur leurs utilisateurs, et nous assurer qu’ils soient sûrs avant de les approuver pour des cas d’utilisation sensibles.

Certains domaines où les modèles d’IA ont montré des biais nocifs incluent la discrimination de groupes sous-représentés dans les admissions scolaires et universitaires, ainsi que les stéréotypes de genre qui affectent négativement le recrutement de femmes. Non seulement cela, mais un algorithme de justice pénale a été trouvé pour avoir étiqueté les prévenus afro-américains comme « à haut risque » à un taux presque deux fois supérieur à celui des prévenus blancs aux États-Unis, tandis que la technologie de reconnaissance faciale souffre encore de taux d’erreur élevés pour les minorités en raison du manque de données de formation représentatives.

Les exemples ci-dessus ne couvrent qu’une petite partie des biais démontrés par les modèles d’IA, et nous pouvons prévoir de plus grands problèmes à l’avenir si nous ne nous concentrons pas sur l’atténuation des biais maintenant. Il est important de garder à l’esprit que les modèles d’IA apprennent à partir de données qui contiennent ces biais en raison de la prise de décision humaine influencée par des biais non contrôlés et inconscients. Dans de nombreux cas, recourir à un décideur humain peut ne pas éliminer le biais. L’atténuation réelle des biais nécessitera de comprendre comment ils sont présents dans les données que nous utilisons pour former les modèles, d’isoler les facteurs qui contribuent à des prédictions biaisées et de décider collectivement sur quoi nous voulons baser des décisions importantes. Développer un ensemble de normes pour évaluer les modèles en termes de sécurité avant de les utiliser pour des cas d’utilisation sensibles sera un pas important vers l’avant.

Les hallucinations d’IA sont un énorme problème avec tout type d’IA générative. Pouvez-vous discuter de la façon dont la formation humaine dans la boucle (HITL) peut atténuer ces problèmes ?

Les hallucinations dans les modèles d’IA sont problématiques dans certains cas d’utilisation d’IA générative, mais il est important de noter qu’elles ne sont pas un problème en soi. Dans certains usages créatifs de l’IA générative, les hallucinations sont bienvenues et contribuent à une réponse plus créative et intéressante.

Elles peuvent être problématiques dans les cas d’utilisation où la fiabilité des informations factuelles est élevée. Par exemple, dans les soins de santé, où la prise de décision robuste est clé, il est essentiel de fournir aux professionnels de la santé des informations factuelles fiables.

HITL fait référence à des systèmes qui permettent aux humains de fournir une rétroaction directe à un modèle pour des prédictions qui sont en dessous d’un certain niveau de confiance. Dans le contexte des hallucinations, HITL peut être utilisé pour aider les modèles à apprendre le niveau de certitude qu’ils devraient avoir pour différents cas d’utilisation avant de produire une réponse. Ces seuils varieront en fonction du cas d’utilisation et l’enseignement des modèles sur les différences de rigueur nécessaires pour répondre à des questions provenant de différents cas d’utilisation sera une étape clé pour atténuer les hallucinations problématiques. Par exemple, dans un cas d’utilisation juridique, les humains peuvent démontrer aux modèles d’IA qu’une vérification des faits est une étape requise lors de la réponse à des questions basées sur des documents juridiques complexes avec de nombreuses clauses et conditions.

Comment les travailleurs de l’IA, tels que les annotateurs de données, aident-ils à réduire les problèmes potentiels de biais ?

Les travailleurs de l’IA peuvent tout d’abord aider à identifier les biais présents dans les données. Une fois le biais identifié, il devient plus facile de trouver des stratégies d’atténuation. Les annotateurs de données peuvent également aider à trouver des moyens de réduire les biais. Par exemple, pour les tâches de traitement automatique des langues, ils peuvent aider en fournissant des façons alternatives de formuler des extraits de texte problématiques de telle sorte que le biais présent dans le langage soit réduit. De plus, la diversité des travailleurs de l’IA peut aider à atténuer les problèmes de biais dans l’étiquetage.

Comment vous assurez-vous que les travailleurs de l’IA ne nourrissent pas involontairement leurs propres biais humains dans le système d’IA ?

C’est certainement une question complexe qui nécessite une considération attentive. Éliminer les biais humains est presque impossible, et les travailleurs de l’IA peuvent involontairement nourrir leurs biais dans les modèles d’IA, il est donc essentiel de développer des processus qui guident les travailleurs vers les meilleures pratiques.

Certaines étapes qui peuvent être prises pour minimiser les biais humains incluent:

• Une formation complète des travailleurs de l’IA sur les biais inconscients et la fourniture d’outils pour identifier et gérer leurs propres biais pendant l’étiquetage.
• Des listes de contrôle qui rappellent aux travailleurs de l’IA de vérifier leurs propres réponses avant de les soumettre.
• Un test d’évaluation qui vérifie le niveau de compréhension que les travailleurs de l’IA ont, où ils sont présentés des exemples de réponses à différents types de biais, et sont invités à choisir la réponse la moins biaisée.

Les régulateurs du monde entier ont l’intention de réglementer la sortie d’IA, qu’est-ce que, selon vous, les régulateurs ne comprennent pas, et qu’est-ce qu’ils ont raison ?

Il est important de commencer par dire que c’est un problème vraiment difficile auquel personne n’a encore trouvé de solution. La société et l’IA évolueront et s’influenceront mutuellement de manières très difficiles à anticiper. Une partie d’une stratégie efficace pour trouver des pratiques de réglementation robustes et utiles consiste à prêter attention à ce qui se passe dans l’IA, à la façon dont les gens y réagissent et à ses effets sur différentes industries.

Je pense qu’un obstacle important à la réglementation efficace de l’IA est le manque de compréhension de ce que les modèles d’IA peuvent et ne peuvent pas faire, et de la façon dont ils fonctionnent. Cela rend plus difficile la prédiction des conséquences que ces modèles auront sur différents secteurs et groupes de la société. Un autre domaine qui manque est le leadership de la pensée sur la façon d’aligner les modèles d’IA sur les valeurs humaines et sur ce que la sécurité signifie en termes plus concrets.

Les régulateurs ont cherché à collaborer avec des experts dans le domaine de l’IA, ont été prudents pour ne pas étouffer l’innovation avec des règles trop strictes autour de l’IA, et ont commencé à considérer les conséquences de l’IA sur le déplacement des emplois, qui sont tous des domaines d’intérêt très importants. Il est important de faire preuve de prudence à mesure que nos réflexions sur la réglementation de l’IA se clarifient avec le temps et d’impliquer autant de personnes que possible pour aborder cette question de manière démocratique.

Comment les solutions Prolific peuvent-elles aider les entreprises à réduire les biais d’IA et les autres problèmes que nous avons discutés ?

La collecte de données pour les projets d’IA n’a pas toujours été un processus considéré ou délibéré. Nous avons précédemment vu des méthodes de scraping, de sous-traitance et d’autres méthodes courantes. Cependant, la façon dont nous formons l’IA est cruciale et les modèles de prochaine génération devront être construits sur des données intentionnellement collectées, de haute qualité, provenant de personnes réelles et avec lesquelles nous sommes en contact direct. C’est là que Prolific fait une marque.

D’autres domaines, tels que les sondages, les études de marché ou la recherche scientifique, ont appris cela il y a longtemps. Le public que vous échantillonnez a un impact important sur les résultats que vous obtenez. L’IA commence à rattraper son retard, et nous sommes à un carrefour maintenant.

Maintenant est le moment de commencer à se soucier de l’utilisation d’échantillons meilleurs et de travailler avec des groupes plus représentatifs pour la formation et l’affinement de l’IA. Les deux sont essentiels pour développer des modèles sûrs, impartiaux et alignés.

Prolific peut aider à fournir les outils appropriés pour que les entreprises mènent des expériences d’IA de manière sûre et collectent des données auprès de participants où les biais sont vérifiés et atténués en cours de route. Nous pouvons aider à fournir des conseils sur les meilleures pratiques en matière de collecte de données, de sélection, de compensation et de traitement équitable des participants.

Quels sont vos points de vue sur la transparence de l’IA, les utilisateurs devraient-ils être en mesure de voir quels données un algorithme d’IA est formé ?

Je pense qu’il y a des avantages et des inconvénients à la transparence, et qu’un bon équilibre n’a pas encore été trouvé. Les entreprises retiennent des informations sur les données qu’elles ont utilisées pour former leurs modèles d’IA en raison de la peur des poursuites judiciaires. D’autres ont travaillé à rendre leurs modèles d’IA publiquement disponibles et ont publié toutes les informations sur les données qu’elles ont utilisées. Une transparence totale ouvre de nombreuses opportunités d’exploitation des vulnérabilités de ces modèles. Une totale confidentialité n’aide pas à établir la confiance et à impliquer la société dans la construction d’une IA sûre. Un bon milieu de terrain fournirait suffisamment de transparence pour instaurer la confiance en nous que les modèles d’IA ont été formés sur des données de haute qualité pertinentes auxquelles nous avons consenti. Nous devons prêter une attention particulière à la façon dont l’IA affecte différentes industries et ouvrir des dialogues avec les parties prenantes et nous assurer que nous développons des pratiques qui fonctionnent pour tout le monde.

Je pense qu’il est également important de considérer ce que les utilisateurs trouveraient satisfaisant en termes d’explicabilité. S’ils veulent comprendre pourquoi un modèle produit une certaine réponse, leur fournir les données brutes sur lesquelles le modèle a été formé ne les aidera probablement pas à répondre à leur question. Ainsi, construire de bons outils d’explicabilité et d’interprétabilité est important.

La recherche sur l’alignement de l’IA vise à orienter les systèmes d’IA vers les objectifs, les préférences ou les principes éthiques intentionnels des humains. Pouvez-vous discuter de la façon dont les travailleurs de l’IA sont formés et de la façon dont cela est utilisé pour garantir que l’IA est alignée autant que possible ?

Ceci est un domaine de recherche actif et il n’y a pas encore de consensus sur les stratégies que nous devrions utiliser pour aligner les modèles d’IA sur les valeurs humaines ou même sur quel ensemble de valeurs nous devrions viser à aligner.

Les travailleurs de l’IA sont généralement invités à représenter de manière authentique leurs préférences et à répondre de manière véridique aux questions concernant leurs préférences, tout en respectant les principes de sécurité, d’absence de biais, d’innocuité et d’utilité.

En ce qui concerne l’alignement sur les objectifs, les principes éthiques ou les valeurs, il existe plusieurs approches qui semblent prometteuses. Un exemple notable est le travail de l’Institut d’alignement du sens sur le régulation démocratique fine. Il y a un excellent article d’introduction à cette idée ici.

Je vous remercie pour cette grande interview et pour avoir partagé vos vues sur les biais d’IA, les lecteurs qui souhaitent en savoir plus peuvent visiter Prolific.