Interviews
Navrina Singh, PDG et fondatrice de Credo AI – Série d'interviews
Navrina Singh est PDG et fondatrice de Credo IA, une entreprise qui conçoit la première plateforme SaaS complète de gouvernance de l'IA qui permet aux entreprises et aux particuliers de mieux comprendre et fournir une IA fiable et éthique, de garder une longueur d'avance sur les nouvelles réglementations et politiques et de créer un dossier d'IA auditable et transparent dans toute l'organisation. La société a fonctionné furtivement et a construit tranquillement un portefeuille de clients impressionnant qui comprend l'un des plus grands entrepreneurs gouvernementaux et sociétés de services financiers au monde, parmi d'autres marques Fortune 100.
Vous avez grandi dans une petite ville indienne avec des débuts modestes, comment avez-vous été attiré par l'ingénierie et le domaine de l'IA ?
Je viens d'une famille de classe moyenne; mon père a été dans l'armée pendant quatre décennies et ma mère était une enseignante devenue créatrice de mode. Dès mon plus jeune âge, ils ont toujours encouragé mon sens de la curiosité, mon amour pour les découvertes scientifiques et m'ont fourni un endroit sûr pour explorer les "et si".
Quand je grandissais en Inde, les femmes n'avaient pas autant d'opportunités que les hommes. De nombreuses décisions étaient déjà prises pour une fille, en fonction de ce qui était acceptable par la société. La seule façon de rompre et d'offrir une bonne vie à votre famille était l'éducation.
Après avoir obtenu mon diplôme d'études secondaires, j'ai possédé mon premier ordinateur qui était ma fenêtre sur le monde. J'étais vraiment dans le matériel et j'ai passé des heures en ligne à apprendre à démonter des cartes mères, à créer des applications robotiques, à apprendre à coder, à refaire l'électricité dans ma maison (yikes !) Et bien plus encore. L'ingénierie est devenue mon espace sûr, où je pouvais expérimenter, explorer, construire et découvrir un monde dont je voulais faire partie à travers mes inventions. J'ai été inspirée et enthousiasmée par la façon dont la technologie pourrait être un outil puissant pour influer sur le changement, en particulier pour les femmes.
En grandissant, mes moyens étaient limités, mais les possibilités ne l'étaient pas. J'ai toujours rêvé de venir aux États-Unis pour construire une base plus solide dans la technologie afin de résoudre les plus grands défis auxquels l'humanité est confrontée. J'ai immigré ici en 2001 pour poursuivre mon parcours d'ingénieur à l'Université du Wisconsin à Madison.
Au cours de mes près de deux décennies en ingénierie, j'ai eu le privilège de travailler sur de multiples technologies de pointe, du mobile à la réalité augmentée.
En 2011, j'ai commencé à explorer l'intelligence artificielle pour créer de nouvelles activités émergentes chez Qualcomm. J'ai également passé du temps à créer des entreprises et des applications en matière d'IA dans les domaines de la parole, de la vision et de la PNL chez Microsoft et Qualcomm au cours de la dernière décennie. Au fur et à mesure que j’en apprenais davantage sur l’IA et l’apprentissage automatique, il est devenu évident que cette technologie de pointe allait bouleverser massivement nos vies au-delà de ce que nous pouvons imaginer.
La création d'une intelligence artificielle à l'échelle de l'entreprise m'a également fait réaliser à quel point la technologie peut rendre un mauvais service et nuire à nos employés et à nos communautés, si elle n'est pas contrôlée. En tant que leaders, nous devons assumer une responsabilité extrême pour les technologies que nous construisons. Nous devons être proactifs pour maximiser ses avantages pour l'humanité et minimiser ses risques. Après tout, « ce que nous fabriquons, nous fabrique ». Il est donc essentiel de construire de manière responsable, ce qui a inspiré la prochaine phase de ma carrière dans la construction de la gouvernance de l'IA.
Quand avez-vous commencé à réfléchir sérieusement à la gouvernance de l'IA ?
Lorsque j'étais responsable de l'innovation chez Qualcomm, nous explorions les possibilités que l'IA pourrait apporter à nos entreprises émergentes. Notre travail initial était axé sur les robots collaboratifs utilisés dans la chaîne d'approvisionnement. Il s'agissait de ma première exposition aux risques « réels » de l'IA, en particulier en ce qui concerne la sécurité physique des humains qui opéraient aux côtés de ces systèmes robotiques.
Pendant cette période, nous avons passé beaucoup de temps avec des startups, telles que Soul Machines, à apprendre de nouveaux cas d'utilisation et à trouver des moyens de nous associer à elles pour accélérer notre travail. Soul Machines avait sorti une nouvelle version de leur bébé avatar, "Baby X". Regarder ce bébé alimenté par un réseau neuronal, apprendre activement du monde qui l'entoure, m'a fait faire une pause et réfléchir aux conséquences imprévues de cette technologie. Ma fille Ziya est née à peu près à la même époque et nous l'avons affectueusement surnommée Baby "Z" d'après Soul Machines Baby "X". J'en ai beaucoup parlé, y compris à la Women In Product Keynote en 2019.
Les parcours d'apprentissage de Baby X et Baby Z étaient étrangement similaires ! Au fur et à mesure que Ziya grandissait, nous lui fournissions le vocabulaire et les outils initiaux pour apprendre. Au fil du temps, elle a commencé à comprendre le monde et à assembler les choses elle-même. Bébé X, le bébé du réseau neuronal, apprenait de la même manière grâce aux capteurs de vision et à la reconnaissance vocale, et construisait rapidement une compréhension approfondie du monde humain.
Ces premiers moments de l'IA m'ont clairement fait comprendre qu'il était essentiel de trouver des moyens de gérer les risques et de mettre des garde-corps efficaces autour de cette technologie puissante pour garantir son déploiement définitif.
Pourriez-vous partager l'histoire de la genèse de Credo AI ?
Après Qualcomm, j'ai été recruté pour diriger la commercialisation des technologies d'IA chez Microsoft dans le groupe de développement commercial et, par la suite, dans le groupe de produits. Au cours de mon mandat, j'ai eu la chance de travailler sur un éventail de technologies d'IA avec des applications dans des cas d'utilisation allant de l'IA conversationnelle à l'intelligence contractuelle, et des inspections visuelles à la découverte de produits à commande vocale.
Cependant, la graine de la gouvernance de l'IA plantée chez Qualcomm n'a cessé de croître alors que je continuais d'être témoin du «déficit de surveillance» croissant dans le développement des technologies d'intelligence artificielle. En tant que chef de produit travaillant avec l'équipe de science des données et d'ingénierie, nous étions motivés pour créer une application d'IA hautement performante alimentée par l'apprentissage automatique et la déployer rapidement sur le marché.
Nous considérions la conformité et la gouvernance comme un contrôle à la porte ralentissant le rythme de l'innovation. Cependant, mes inquiétudes croissantes concernant le déficit de gouvernance entre les professionnels techniques et de surveillance des risques, de la conformité et de l'audit m'ont motivé à continuer à explorer les défis liés à la réalisation de la gouvernance de l'IA.
Toutes les questions sans réponse sur la gouvernance de l'IA m'ont incité à chercher des réponses. J'ai donc commencé à jeter les bases d'une organisation à but non lucratif appelée MERAT (Marketplace for Ethical and Responsible AI tools) dans le but de créer un écosystème pour les startups et les Global 2000 axé sur le développement responsable de l'IA.
Grâce aux premières expérimentations au MERAT, il est devenu clair qu'il n'y avait pas de startups permettant aux outils multipartites d'alimenter une gouvernance complète des applications d'IA et de ML - jusqu'à Credo AI. Cette lacune a été l'occasion pour moi de réaliser la mission de guider intentionnellement l'IA. Mon hypothèse n'a cessé d'être validée selon laquelle la prochaine frontière de la révolution de l'IA sera guidée par la gouvernance. Les entreprises qui adoptent la gouvernance deviendront les leaders des marques de confiance.
J'ai été approché par le AI Fund, un incubateur fondé par Andrew Ng, un expert renommé en IA. AI Fund s'était concentré sur les mêmes sujets d'auditabilité et de gouvernance de l'IA avec lesquels j'avais été consommé au cours de la dernière décennie.
Credo AI a été constituée le 28 févrierth, 2020, avec un financement du Fonds IA.
Credo signifie « un ensemble de valeurs qui guident vos actions ». Avec Credo AI, notre vision est de donner aux entreprises les moyens de créer une IA avec les normes éthiques les plus élevées.
Dans un interview précédente, vous avez discuté de la façon dont les marques à l'avenir seront dignes de confiance, non pas «uniquement» en fonction de la façon dont elles construisent et déploient l'IA, mais sur la façon dont elles font évoluer l'IA pour qu'elle soit au service de l'humanité. Pouvez-vous développer?
L'intelligence artificielle est l'une des technologies révolutionnaires de ce siècle et offre des opportunités de transformation pour l'économie et la société. Il est sur la bonne voie pour apporter près de 16 2030 milliards de dollars à l'économie mondiale d'ici XNUMX.
Cependant, les dernières années ont mis en lumière les menaces majeures de l'IA (et non, ce ne sont pas les seigneurs des robots !) déjà présentes. Par exemple, les algorithmes judiciaires optimisant une récidive minimale (une rechute dans un comportement criminel) peuvent introduire un biais et refuser la libération conditionnelle à ceux qui la méritent.
Les algorithmes sociaux optimisant l'engagement peuvent diviser une nation.
Des algorithmes injustes peuvent être la raison pour laquelle vous n'obtenez pas d'emploi ou n'êtes pas admis à l'université.
Plus nous donnons d'autonomie à nos outils, plus l'éventail des conséquences imprévues est large. Une échelle extraordinaire génère un impact extraordinaire, mais pas toujours l'impact que nous souhaitons (j'écris à ce sujet dans Credo ai manifeste).
Je prédis que les entreprises qui investissent dans la gouvernance de l'IA pour les aider à développer une technologie de manière responsable et à s'engager dans une utilisation éthique des données seront en mesure de susciter la confiance entre les parties prenantes - clients, consommateurs, investisseurs, employés et autres.
Comment Credo AI aide-t-il les entreprises à rendre des comptes ?
La responsabilité signifie l'obligation d'accepter la responsabilité de ses actes. Dans le contexte du développement et du déploiement de l'IA, cela signifie que les entreprises doivent non seulement s'aligner sur ce qui « leur ressemble », mais prendre des mesures intentionnelles pour démontrer l'action sur ces objectifs alignés et assumer la responsabilité des résultats.
Credo AI vise à être un sherpa pour les entreprises dans leurs initiatives d'IA éthiques et responsables afin de les tenir responsables devant les diverses parties prenantes : utilisateurs, employés, régulateurs, auditeurs, investisseurs, dirigeants et autres. C'est pourquoi Credo AI a été le pionnier d'une solution en temps réel, contextuelle, complète et continue pour fournir une IA éthique et responsable à grande échelle.
Renforcer la responsabilité et la confiance dans l'IA est un processus dynamique. Les organisations doivent s'aligner sur les valeurs de l'entreprise, codifier ces valeurs, les intégrer à leur infrastructure organisationnelle, observer l'impact et répéter le processus avec des voix diverses apportant leur contribution à chaque étape. Credo AI permet cette responsabilisation via une solution complète et en temps réel de gestion de la conformité et de mesure des risques pour les déploiements d'IA à grande échelle.
Grâce à la solution de gouvernance Credo AI, les entreprises peuvent :
- Alignez-vous sur les exigences de gouvernance pour leurs cas d'utilisation et modèles d'IA, avec des ensembles de politiques personnalisables et des outils d'aide à la décision pour choisir les métriques d'évaluation des modèles.
- Évaluer et interroger les données et les modèles ML par rapport à ces objectifs alignés
- Analysez les spécifications techniques en impact de risque exploitable pour l'entreprise à chaque étape du développement et du déploiement du modèle, afin que vous puissiez détecter et résoudre les problèmes de gouvernance avant qu'ils ne deviennent des problèmes massifs
En enregistrant les décisions et les actions à chaque étape, Credo AI capture l'origine des décisions qui ont contribué à la création des modèles comme preuve. Cette preuve sera un enregistrement partagé en interne avec les parties prenantes de l'entreprise et en externe avec les auditeurs qui renforce la confiance dans les intentions de l'IA.
Ces preuves aideront les équipes de développement à prévoir et à prévenir les conséquences imprévues et normaliseront la façon dont nous évaluons l'efficacité et la fiabilité des modèles d'IA.
Nous en sommes aux toutes premières manches de l'activation de la gouvernance de l'IA grâce à des évaluations et à une assurance complètes et nous sommes ravis de travailler avec davantage d'entreprises pour promouvoir la responsabilité.
Comment Credo AI aide-t-il les entreprises à ne plus penser à la gouvernance de l'IA après coup ?
Dans le monde d'aujourd'hui, il y a un manque de clarté sur ce qu'est vraiment une IA « responsable », « éthique » et « digne de confiance », et comment les entreprises peuvent y parvenir. Nous aidons à recadrer cette question clé pour les entreprises, en utilisant la plateforme Credo AI SaaS pour démontrer « l'économie de l'éthique ».
Avec Credo AI, les entreprises sont en mesure non seulement de fournir une IA équitable, conforme et auditable, mais aussi de renforcer la confiance des clients.
Bâtir la confiance des consommateurs peut élargir la clientèle d'une entreprise et débloquer plus de ventes. Par exemple, les entreprises peuvent offrir la meilleure expérience client possible en utilisant l'IA éthique dans leurs chatbots de service client, ou utiliser l'IA de manière responsable pour comprendre l'activité des utilisateurs et leur suggérer du contenu ou des produits supplémentaires. Les clients extrêmement satisfaits offrent alors la meilleure publicité en partageant leur expérience avec leurs amis et leur famille.
En outre, l'entreprise peut également voir comment la collaboration entre les fonctions techniques et de surveillance peut les aider à réduire les coûts grâce à un délai de mise en conformité plus rapide, une gestion des risques éclairée, une réduction des risques liés à la marque et à la réglementation. Nous aidons les organisations à déployer une IA éthique en créant un pont entre les métriques techniques et les résultats commerciaux tangibles. Comme de plus en plus de gens le réalisent, défendre l'IA éthique implique bien plus que de cocher une case de «conformité réglementaire». Mais il a le pouvoir d'apporter encore plus qu'une contribution à un monde plus équitable, ce qui serait un résultat valable en soi.
Lorsqu'une entreprise respecte des normes éthiques élevées, elle peut s'attendre à des résultats commerciaux réels, tels qu'une augmentation des revenus. Faire passer la perspective d'un concept abstrait "soft" à une décision commerciale objective a été pour nous un moyen clé d'aider à positionner la gouvernance de l'IA comme un élément essentiel du moteur économique et social de l'entreprise.
Récemment, l'administration Biden a créé le Comité consultatif national sur l'intelligence artificielle. À votre avis, quelles en sont les implications pour les entreprises d'IA ?
Les gouvernements du monde entier mettent tout en œuvre pour réglementer l'IA, et les entreprises doivent se préparer. La création réfléchie par l'administration Biden du comité consultatif national sur l'IA et les investissements dans l'OSTP de la Maison Blanche sont une bonne première étape pour donner suite aux discussions autour de la déclaration des droits de régir les systèmes d'IA. Cependant, il reste encore beaucoup à faire pour comprendre ce que signifierait une IA responsable pour notre pays et notre économie.
Je pense que 2022 se positionne comme l'année de l'action pour une IA responsable. C'est un signal d'alarme pour les entreprises qui cherchent à mettre en œuvre ou à renforcer leur cadre éthique en matière d'IA. Il est maintenant temps pour les entreprises d'évaluer les lacunes de leur cadre existant ou, pour les entreprises qui n'ont pas d'approche, de mettre en œuvre un cadre solide pour une IA digne de confiance afin de les préparer au succès pour diriger à l'ère de l'IA.
Nous devrions nous attendre à voir émerger davantage de réglementations dures et souples. En plus des actions de la Maison Blanche, il y a beaucoup d'élan provenant d'autres décideurs et agences, tels que le projet de loi sur la responsabilité algorithmique du Sénat, les directives de la Federal Trade Commission (FTC) concernant les biais de l'IA, et plus encore.
Si nous avançons rapidement vers l'avenir, quelle sera l'importance de l'éthique et de la gouvernance de l'IA dans cinq ans ?
Nous sommes dans les premières manches de la gouvernance de l'IA. Pour souligner à quel point la gouvernance de l'IA est essentielle, voici quelques-unes de mes prévisions pour les prochaines années :
- La gouvernance éthique de l'IA deviendra une priorité absolue de l'organisation
Les entreprises continuent d'investir et de récolter les bénéfices de l'utilisation de l'IA dans leurs activités. IDC a prévu une dépense de 340 milliards de dollars pour l'IA en 2022. Sans gouvernance, les entreprises hésiteront à investir dans l'IA en raison de préoccupations concernant les biais, la sécurité, l'exactitude et la conformité de ces systèmes.
Sans confiance, les consommateurs seront également réticents à accepter des produits basés sur l'IA ou à partager des données pour construire ces systèmes. Au cours des cinq prochaines années, la gouvernance éthique de l'IA deviendra une priorité des conseils d'administration et une mesure importante que les entreprises devront divulguer et rapporter pour instaurer la confiance entre leurs parties prenantes.
- De nouvelles catégories d'emplois sociotechniques vont émerger au sein d'une entreprise
Nous voyons déjà des organisations éthiques avant-gardistes investir de manière significative dans la pérennité de leur développement afin de garantir des applications d'IA justes, conformes et auditables.
Pour être à la pointe de l'IA, les entreprises devront accélérer davantage l'apprentissage du paysage réglementaire de l'IA et la mise en œuvre de structures de responsabilité à grande échelle. À mesure que le domaine émergent de la mise en œuvre éthique de l'IA évolue, une nouvelle catégorie d'emplois sociotechniques pourrait apparaître pour faciliter ces conversations et prendre en charge dans ce domaine. Cette nouvelle composante de la main-d'œuvre pourrait servir d'intermédiaire entre la technique et les supervisions, aidant à développer des normes et des objectifs communs.
- Les nouvelles expériences alimentées par l'IA exigeront une gouvernance plus stricte
La gestion des conséquences prévues et imprévues de l'intelligence artificielle est essentielle, en particulier à l'heure où nous entrons dans le monde du métaverse et du web3. Les risques de l'IA existent dans le monde réel et le monde virtuel, mais sont encore amplifiés dans ce dernier.
En plongeant la tête la première dans le Metaverse sans surveillance de l'IA, les entreprises exposent leurs clients à des risques tels que le vol d'identité et la fraude. Il est primordial que les problèmes d'IA et de gouvernance soient résolus dans le monde réel maintenant afin d'assurer la sécurité des consommateurs dans le métaverse.
- De nouveaux écosystèmes de gouvernance éthique de l'IA vont émerger
Le monde s'est éveillé à l'idée que la gouvernance de l'IA représente la pierre angulaire de l'opérationnalisation de l'IA responsable. Au cours des prochaines années, nous verrons émerger un marché concurrentiel et dynamique de fournisseurs de services pour fournir des outils, des services, une formation et d'autres capacités pour répondre à ce besoin massif.
En outre, nous verrons également la consolidation et l'augmentation des plateformes MLops et GRC existantes, pour apporter des capacités de gouvernance et d'évaluation à l'IA.
Y a-t-il autre chose que vous aimeriez partager à propos de Credo AI ?
La gouvernance éthique de l'IA est un investissement pérenne que vous ne pouvez pas vous permettre ne sauraient à faire, et aujourd'hui est le meilleur jour pour commencer.
Merci pour l'interview détaillée et pour avoir partagé toutes vos idées sur la gouvernance et l'éthique de l'IA, les lecteurs qui souhaitent en savoir plus devraient visiter Credo IA.
