Navrina Singh, PDG et fondatrice de Credo AI – Série d’entretiens

Navrina Singh est la PDG et fondatrice de Credo AI, une entreprise qui conçoit la première plateforme SaaS de gouvernance de l’IA complète, permettant aux entreprises et aux individus de mieux comprendre et de livrer une IA fiable et éthique, de rester en tête des nouvelles réglementations et politiques et de créer un dossier d’IA auditable et transparent dans toute l’organisation. L’entreprise a fonctionné en secret et a construit discrètement un impressionnant portefeuille de clients, qui comprend l’un des plus grands sous-traitants du gouvernement et des sociétés de services financiers au monde, ainsi que d’autres marques du Fortune 100.

Vous avez grandi dans une petite ville en Inde avec des débuts humbles, comment vous êtes-vous retrouvée attirée par l’ingénierie et le domaine de l’IA ?

Je viens d’une famille de la classe moyenne ; mon père était dans l’armée pendant quatre décennies et ma mère était une enseignante devenue designer de mode. Dès mon plus jeune âge, ils m’ont toujours encouragée à développer mon sens de la curiosité, mon amour pour les découvertes scientifiques et m’ont offert un espace sûr pour explorer les « et si ».

Lorsque j’ai grandi en Inde, les femmes n’avaient pas autant d’opportunités que les hommes. Beaucoup de décisions étaient déjà prises pour une fille, en fonction de ce que la société considérait comme acceptable. Le seul moyen de s’éloigner et de se permettre une bonne vie pour sa famille était à travers l’éducation.

Après avoir obtenu mon diplôme d’études secondaires, j’ai possédé mon premier ordinateur, qui était ma fenêtre sur le monde. J’étais vraiment intéressée par le matériel et j’ai passé des heures en ligne à apprendre à démonter les cartes mères, à construire des applications de robotique, à apprendre à coder, à refaire l’électricité de ma maison (oh mon dieu !) et bien plus encore. L’ingénierie est devenue mon espace sûr, où je pouvais expérimenter, explorer, construire et vivre un monde que je voulais faire partie à travers mes inventions. J’étais inspirée et excitée par la façon dont la technologie pouvait être un outil puissant pour apporter des changements, en particulier pour les femmes.

En grandissant, mes moyens étaient limités, mais les possibilités ne l’étaient pas. J’ai toujours rêvé de venir aux États-Unis pour construire une base solide en technologie pour résoudre les plus grands défis auxquels l’humanité est confrontée. J’ai immigré ici en 2001 pour poursuivre mon parcours d’ingénierie à l’Université du Wisconsin à Madison.

Au cours de mes près de deux décennies dans l’ingénierie, j’ai eu le privilège de travailler sur plusieurs technologies de pointe, allant de la technologie mobile à la réalité augmentée.

En 2011, j’ai commencé à explorer l’intelligence artificielle pour construire de nouvelles entreprises émergentes chez Qualcomm (QCOM ). J’ai également passé du temps à construire des entreprises et des applications dans l’IA, allant de la parole à la vision et à la NLP, chez Microsoft (MSFT ) et Qualcomm, au cours de la dernière décennie. Au fur et à mesure que j’en apprenais davantage sur l’IA et l’apprentissage automatique, il est devenu évident que cette technologie de pointe allait massivement perturber notre vie au-delà de ce que nous pouvons imaginer.

La construction d’une intelligence artificielle à l’échelle de l’entreprise m’a également fait réaliser que la technologie peut nuire à nos personnes et à nos communautés si elle n’est pas contrôlée. Nous, en tant que dirigeants, devons prendre une responsabilité extrême pour les technologies que nous construisons. Nous devons être proactifs pour maximiser ses avantages pour l’humanité et minimiser ses risques. Après tout, « Ce que nous créons, nous fait ». La construction responsable est donc critique, ce qui a inspiré la prochaine étape de ma carrière dans la gouvernance de l’IA.

Quand avez-vous commencé à réfléchir sérieusement à la gouvernance de l’IA ?

Alors que j’étais à la tête de l’innovation chez Qualcomm, nous explorions les possibilités que l’IA pouvait apporter à nos entreprises émergentes. Notre travail initial était axé sur les robots collaboratifs utilisés dans la chaîne d’approvisionnement. C’était ma première exposition aux « vrais » risques de l’IA, en particulier en ce qui concerne la sécurité physique des humains qui opéraient aux côtés de ces systèmes de robotique.

Pendant cette période, nous avons passé beaucoup de temps avec des startups, comme Soul Machines, pour apprendre de nouvelles utilisations et trouver des moyens de nous associer à elles pour accélérer notre travail. Soul Machines avait publié une nouvelle version de son avatar de bébé, « Baby X ». Regarder cet enfant doté d’un réseau de neurones, apprenant activement du monde qui l’entourait, m’a fait réfléchir et me suis demandé quelles étaient les conséquences involontaires de cette technologie. Ma fille Ziya est née à peu près à la même époque, et nous l’avons surnommée affectueusement « Baby Z » après l’avatar de bébé « X » de Soul Machines. J’en ai parlé à plusieurs reprises, notamment lors de la conférence Women In Product Keynote en 2019.

Les parcours d’apprentissage de Baby X et de Baby Z étaient étrangement similaires ! Alors que Ziya grandissait, nous lui fournissions le vocabulaire initial et les outils pour apprendre. Au fil du temps, elle a commencé à comprendre le monde et à le relier elle-même. Baby X, l’enfant doté d’un réseau de neurones, apprenait de la même manière à travers des capteurs de vision et de reconnaissance de la parole, et construisait rapidement une compréhension profonde du monde humain.

Ces premiers moments avec l’IA m’ont fait réaliser qu’il était critique de trouver des moyens de gérer les risques et de mettre en place des garde-fous efficaces autour de cette technologie puissante pour garantir qu’elle soit déployée pour le bien.

Pouvez-vous partager l’histoire de la création de Credo AI ?

Après Qualcomm, j’ai été recrutée pour diriger la commercialisation des technologies d’IA chez Microsoft dans le groupe de développement commercial et, par la suite, dans le groupe de produits. Pendant mon mandat, j’ai eu la chance de travailler sur un large éventail de technologies d’IA avec des applications allant de l’IA conversationnelle à l’intelligence de contrat, et de l’inspection visuelle à la découverte de produits basée sur la parole.

Cependant, la graine de la gouvernance de l’IA plantée chez Qualcomm a continué à grandir à mesure que je continuais à constater le déficit croissant de surveillance dans le développement des technologies d’IA. En tant que dirigeante de produit travaillant avec l’équipe de science des données et d’ingénierie, nous étions motivés pour construire une application d’IA à haute performance alimentée par l’apprentissage automatique et la déployer rapidement sur le marché.

Nous considérions la conformité et la gouvernance comme des vérifications de portière qui ralentissaient le rythme de l’innovation. Cependant, mes préoccupations croissantes concernant le déficit de gouvernance entre les professionnels techniques et de surveillance en matière de risque, de conformité et d’audit m’ont motivée à continuer à explorer les défis de la mise en œuvre de la gouvernance de l’IA.

Toutes les questions sans réponse sur la gouvernance de l’IA m’ont poussée à chercher des réponses. J’ai donc commencé à poser les fondements d’une organisation à but non lucratif appelée MERAT (Marché pour les outils d’IA éthiques et responsables) avec pour objectif de créer un écosystème pour les startups et les entreprises du Global 2000 axées sur le développement responsable de l’IA.

Grâce aux premières expérimentations chez MERAT, il est devenu clair qu’il n’y avait pas d’entreprises permettant des outils multistakeholders pour alimenter une gouvernance complète des applications et des modèles d’IA et de ML – jusqu’à Credo AI. Ce fossé était mon opportunité de réaliser la mission de guider l’IA de manière intentionnelle. Mon hypothèse a continué à être validée selon laquelle la prochaine frontière de la révolution de l’IA sera guidée par la gouvernance. Les entreprises qui adoptent la gouvernance émergeront comme des marques de confiance.

J’ai été approchée par le AI Fund, un incubateur fondé par Andrew Ng, un expert renommé en IA. Le AI Fund s’est concentré sur les mêmes sujets de vérifiabilité et de gouvernance de l’IA que j’avais été préoccupée pendant la dernière décennie.

Credo AI a été constituée le 28 février 2020, avec un financement du AI Fund.

Credo signifie « un ensemble de valeurs qui guide vos actions ». Avec Credo AI, notre vision est de permettre aux entreprises de créer de l’IA avec les normes éthiques les plus élevées.

Dans une interview précédente, vous avez discuté de la façon dont les marques à l’avenir seront considérées comme fiables, non seulement en fonction de la façon dont elles construisent et déployeront l’IA, mais également en fonction de la façon dont elles mettront l’IA au service de l’humanité. Pouvez-vous élaborer sur ce point ?

L’intelligence artificielle est l’une des technologies révolutionnaires de ce siècle et offre des opportunités de transformation pour l’économie et la société. Elle devrait contribuer près de 16 billions de dollars à l’économie mondiale d’ici 2030.

Cependant, ces dernières années ont mis en lumière les menaces majeures de l’IA (et non, ce ne sont pas les robots qui nous gouverneront !) déjà présentes. Par exemple, les algorithmes judiciaires qui optimisent la récidive (un retour à un comportement criminel) peuvent introduire des préjugés et refuser la libération conditionnelle à ceux qui la méritent.

Les algorithmes sociaux qui optimisent l’engagement peuvent diviser une nation.

Les algorithmes injustes peuvent être la raison pour laquelle vous n’obtenez pas d’emploi ou d’admission à l’université.

Plus nous donnons d’autonomie à nos outils, plus large est la gamme de conséquences involontaires. Un impact extraordinaire génère un impact extraordinaire, mais pas toujours celui que nous visons (j’en écris dans le manifeste de Credo AI).

Je prédis que les entreprises qui investissent dans la gouvernance de l’IA pour les aider à construire la technologie de manière responsable et à s’engager dans une utilisation éthique des données seront en mesure d’inspirer la confiance à travers les parties prenantes – clients, consommateurs, investisseurs, employés et autres.

Comment Credo AI aide-t-elle les entreprises à rester responsables ?

La responsabilité signifie une obligation d’accepter la responsabilité de ses actes. Dans le contexte du développement et du déploiement de l’IA, cela signifie que les entreprises doivent non seulement s’accorder sur ce que signifie « bien » pour elles, mais également prendre des mesures intentionnelles pour démontrer des actions sur ces objectifs alignés et assumer la responsabilité des résultats.

Credo AI vise à être un sherpa pour les entreprises dans leurs initiatives d’IA éthique et responsable pour les tenir responsables devant les parties prenantes diverses : utilisateurs, employés, régulateurs, auditeurs, investisseurs, dirigeants et autres. Credo AI a donc innové une solution complète et continue en temps réel pour livrer une IA éthique et responsable à grande échelle.

La construction de la responsabilité et de la confiance dans l’IA est un processus dynamique. Les organisations doivent s’accorder sur les valeurs d’entreprise, les codifier, les intégrer dans leur infrastructure organisationnelle, observer l’impact et répéter le processus avec des voix diverses fournissant des commentaires à chaque étape. Credo AI permet cette responsabilité via une solution complète et en temps réel pour gérer la conformité et mesurer les risques pour les déploiements d’IA à grande échelle.

En utilisant la solution de gouvernance de Credo AI, les entreprises sont en mesure de :

• S’accorder sur les exigences de gouvernance pour leurs cas d’utilisation et modèles d’IA, avec des packs de politiques personnalisables et des outils de prise en charge de décision pour choisir les métriques d’évaluation de modèle.
• Évaluer et interroger les données et les modèles d’IA par rapport à ces objectifs alignés.
• Analyser les spécifications techniques en impact de risque pour l’entreprise à chaque étape du développement et du déploiement du modèle, afin que vous puissiez détecter et résoudre les problèmes de gouvernance avant qu’ils ne deviennent de gros problèmes.

En enregistrant les décisions et les actions à chaque point, Credo AI capture l’origine des décisions qui ont conduit à la création des modèles comme preuve. Cette preuve sera un enregistrement partagé à l’interne avec les parties prenantes de l’entreprise et à l’externe avec les auditeurs, ce qui renforce la confiance dans les intentions de l’IA.

Cette preuve aidera les équipes de développement à prédire et à prévenir les conséquences involontaires et normalisera la façon dont nous évaluons l’efficacité et la fiabilité des modèles d’IA.

Nous sommes aux premiers stades de la mise en œuvre de la gouvernance de l’IA grâce à des évaluations et des assurances complètes, et nous sommes impatients de travailler avec davantage d’entreprises pour promouvoir la responsabilité.

Comment Credo AI aide-t-elle les entreprises à s’éloigner de la gouvernance de l’IA comme après-pensée ?

Dans le monde d’aujourd’hui, il y a un manque de clarté sur ce que signifie réellement « responsable », « éthique » et « digne de confiance » en matière d’IA, et sur la façon dont les entreprises peuvent livrer cela. Nous aidons à reformuler cette question clé pour les entreprises en utilisant la plateforme SaaS de Credo AI pour démontrer les « économies de l’éthique ».

Avec Credo AI, les entreprises sont en mesure non seulement de livrer une IA équitable, conforme et auditable, mais également de construire la confiance des clients.

La construction de la confiance des clients peut élargir la base de clients d’une entreprise et débloquer plus de ventes. Par exemple, les entreprises peuvent offrir la meilleure expérience client possible en utilisant une IA éthique dans leurs chatbots de service client, ou utiliser de manière responsable l’IA pour comprendre l’activité des utilisateurs et suggérer du contenu ou des produits supplémentaires pour eux. Les clients extrêmement satisfaits offrent ensuite la meilleure publicité en partageant leur expérience avec leurs amis et leur famille.

En outre, les entreprises peuvent également voir comment la collaboration entre les fonctions techniques et de surveillance peut les aider à réduire les coûts en raison d’une conformité plus rapide, d’une gestion des risques éclairée, d’une réduction des risques pour la marque et la réglementation. Nous aidons les organisations à déployer une IA éthique en construisant un pont entre les métriques techniques et les résultats commerciaux tangibles. Comme de plus en plus de personnes le réalisent, défendre une IA éthique implique bien plus que de cocher une case de conformité réglementaire. Mais cela a le pouvoir de livrer encore plus qu’une contribution à un monde plus équitable, ce qui serait un résultat précieux en soi.

Lorsqu’une entreprise défend des normes éthiques élevées, elle peut s’attendre à des résultats commerciaux réels, tels qu’une augmentation des revenus. Le passage d’un concept abstrait et « mou » à une décision d’affaires objective a été un moyen clé pour nous d’aider à positionner la gouvernance de l’IA comme une partie critique du moteur économique et social de l’entreprise.

Récemment, l’administration Biden a créé le Comité consultatif national sur l’intelligence artificielle. Quelles sont, selon vous, les implications de cela pour les entreprises d’IA ?

Les gouvernements du monde entier sont en train de réglementer l’IA, et les entreprises doivent se préparer. La création par l’administration Biden d’un comité consultatif national sur l’IA et les investissements dans le OSTP de la Maison Blanche est un bon premier pas pour passer de la discussion à l’action sur le projet de loi sur les droits de l’IA. Cependant, beaucoup de travail doit être fait pour réaliser ce que signifie une IA responsable pour notre pays et notre économie.

Je crois que 2022 sera l’année de l’action pour une IA responsable. C’est un appel à l’éveil pour les entreprises qui cherchent à mettre en œuvre ou à renforcer leur cadre éthique pour l’IA. Maintenant est le moment pour les entreprises d’évaluer leur cadre existant pour les lacunes, ou pour les entreprises qui n’ont pas d’approche, de mettre en œuvre un cadre solide pour une IA de confiance pour les aider à réussir et à être leaders dans l’ère de l’IA.

Nous devrions nous attendre à voir plus de réglementations dures et douces émerger. En plus des actions de la Maison Blanche, il y a beaucoup de dynamisme qui vient d’autres décideurs et agences, comme le projet de loi Algorithmic Accountability Act du Sénat, les directives de la Federal Trade Commission (FTC) sur les préjugés de l’IA, et bien plus encore.

Si nous faisons un saut dans le futur, combien la gouvernance de l’IA et l’éthique de l’IA seront-elles importantes dans cinq ans ?

Nous sommes aux premiers stades de la gouvernance de l’IA. Pour souligner à quel point la gouvernance de l’IA est critique, voici quelques-unes de mes prédictions pour les prochaines années :

• La gouvernance éthique de l’IA deviendra une priorité pour les organisations

Les entreprises continuent à investir et à bénéficier de l’utilisation de l’IA dans leurs entreprises. L’IDC a prévu une dépense de 340 milliards de dollars dans l’IA en 2022. Sans gouvernance, les entreprises hésiteront à investir dans l’IA en raison de préoccupations concernant les préjugés, la sécurité, la précision et la conformité de ces systèmes.

Sans confiance, les consommateurs hésiteront également à accepter des produits ou des services basés sur l’IA ou à partager des données pour construire ces systèmes. Au cours des cinq prochaines années, la gouvernance éthique de l’IA deviendra une priorité pour les entreprises et un indicateur important que les entreprises devront divulguer et signaler pour inspirer la confiance à travers leurs parties prenantes.

• De nouvelles catégories de postes sociotechniques émergeront au sein d’une entreprise

Nous voyons déjà des organisations axées sur l’éthique investir considérablement dans la future preuve de leur développement pour garantir des applications d’IA équitables, conformes et auditable.

Pour être leaders dans l’IA, les entreprises devront accélérer leur apprentissage sur le paysage réglementaire de l’IA et la mise en œuvre de structures de responsabilité à grande échelle. À mesure que le domaine émergent de la mise en œuvre de l’IA éthique évolue, une nouvelle catégorie de postes sociotechniques pourrait émerger pour faciliter ces conversations et prendre en charge ce domaine. Ce nouveau composant de la main-d’œuvre pourrait fonctionner comme des intermédiaires entre les fonctions techniques et de surveillance, aidant à développer des normes et des objectifs communs.

• De nouvelles expériences alimentées par l’IA exigeront une gouvernance plus stricte

La gestion des conséquences intentionnelles et involontaires de l’intelligence artificielle est critique, en particulier à mesure que nous entrons dans le Metaverse et le monde du web3. Les risques de l’IA existent dans le monde réel et le monde virtuel, mais sont amplifiés dans ce dernier.

En plongeant dans le Metaverse sans une surveillance de l’IA, les entreprises mettent leurs clients en danger de défis tels que le vol d’identité et la fraude. Il est essentiel que les problèmes de gouvernance et d’IA soient résolus dans le monde réel maintenant pour maintenir la sécurité des consommateurs dans le Metaverse.

• De nouveaux écosystèmes dans la gouvernance éthique de l’IA émergeront

Le monde s’est réveillé à l’idée que la gouvernance de l’IA représente le bloc de base pour la mise en œuvre d’une IA responsable. Au cours des prochaines années, nous allons voir un marché compétitif et dynamique de fournisseurs de services émerger pour offrir des outils, des services, une éducation et d’autres capacités pour soutenir ce besoin massif.

En outre, nous allons également voir une consolidation et une augmentation des plates-formes MLOps et GRC existantes pour apporter des capacités de gouvernance et d’évaluation à l’IA.

Y a-t-il autre chose que vous aimeriez partager sur Credo AI ?

La gouvernance éthique de l’IA est un investissement à l’épreuve du futur que vous ne pouvez pas vous permettre de ne pas faire, et aujourd’hui est le meilleur jour pour commencer.

Je vous remercie pour cette interview détaillée et pour avoir partagé toutes vos idées concernant la gouvernance et l’éthique de l’IA. Les lecteurs qui souhaitent en savoir plus devraient visiter Credo AI.