Navrina Singh, CEO y Fundadora de Credo AI – Serie de Entrevistas

Navrina Singh es CEO y Fundadora de Credo AI, una empresa que diseña la primera plataforma de gobernanza de IA integral como software de servicio (SaaS) que permite a las empresas y a los individuos comprender y entregar IA confiable y ética, mantenerse por delante de las nuevas regulaciones y políticas y crear un registro de IA que sea auditado y transparente en toda la organización. La empresa ha estado funcionando en secreto y construyendo silenciosamente un cartera de clientes impresionante que incluye a uno de los contratistas gubernamentales más grandes y a empresas de servicios financieros en el mundo, entre otras marcas Fortune 100.

Creciste en una pequeña ciudad de la India con un comienzo humilde, ¿cómo te atrajo la ingeniería y el campo de la IA?

Vengo de una familia de clase media; mi papá estuvo en el ejército durante cuatro décadas y mi mamá fue maestra y luego diseñadora de moda. Desde una edad temprana, siempre me animaron a tener curiosidad, amor por los descubrimientos científicos y me proporcionaron un lugar seguro para explorar los “¿qué pasaría si?”.

Cuando crecía en la India, a las mujeres no se les daban tantas oportunidades como a los hombres. Muchas decisiones ya estaban tomadas para una chica, basadas en lo que era aceptable por la sociedad. La única forma de romper con esto y proporcionar una buena vida para la familia era a través de la educación.

Después de graduarme de la escuela secundaria, compré mi primera computadora, que fue mi ventana al mundo. Estaba muy interesada en el hardware y pasaba horas en línea aprendiendo a desmontar placas base, construir aplicaciones de robótica, aprender a codificar, volver a hacer la electricidad en mi casa (¡ay, caramba!) y mucho más. La ingeniería se convirtió en mi espacio seguro, donde podía experimentar, explorar, construir y experimentar un mundo que quería ser parte de a través de mis invenciones. Me inspiraba y me emocionaba cómo la tecnología podía ser una herramienta poderosa para cambiar, especialmente para las mujeres.

Creciendo, mis medios eran limitados, pero las posibilidades no. Siempre soñé con venir a los Estados Unidos para construir una base más fuerte en tecnología para resolver los desafíos más grandes que enfrenta la humanidad. Inmigré aquí en 2001 para continuar mi viaje en ingeniería en la Universidad de Wisconsin Madison.

A lo largo de mis casi dos décadas en ingeniería, tuve el privilegio de trabajar en múltiples tecnologías de vanguardia, desde móviles hasta realidad aumentada.

En 2011, comencé a explorar la Inteligencia Artificial para construir nuevos negocios emergentes en Qualcomm (QCOM ). También he pasado tiempo construyendo negocios y aplicaciones en IA en áreas como el habla, la visión y el NLP en Microsoft (MSFT ) y Qualcomm, durante la última década. A medida que aprendía más sobre la IA y el aprendizaje automático, se hizo evidente que esta tecnología de vanguardia iba a interrumpir nuestras vidas más allá de lo que podemos imaginar.

Construir IA a escala empresarial también me hizo darme cuenta de que la tecnología puede hacer un flaco favor a nuestra gente y comunidades, si se deja sin control. Nosotros, como líderes, debemos asumir una responsabilidad extrema por las tecnologías que estamos construyendo. Debemos ser proactivos para maximizar sus beneficios para la humanidad y minimizar su riesgo. Después de todo, “Lo que creamos, nos hace”. Por lo tanto, construir de manera responsable es fundamental, lo que ha inspirado la próxima fase de mi carrera en la gobernanza de la IA.

¿Cuándo comenzaste a pensar seriamente en la gobernanza de la IA?

Mientras era la jefa de innovación en Qualcomm, estábamos explorando las posibilidades que la IA podría traer a nuestros negocios emergentes. Nuestro trabajo inicial se centró en robots colaborativos que se utilizaban en la cadena de suministro. Esta fue mi primera exposición a los “verdaderos” riesgos de la IA, especialmente con respecto a la seguridad física de los humanos que operaban junto a estos sistemas robóticos.

En ese momento, pasamos mucho tiempo con startups, como Soul Machines, aprendiendo nuevos casos de uso y encontrando formas de asociarnos con ellos para acelerar nuestro trabajo. Soul Machines había lanzado una nueva versión de su avatar de bebé, “Baby X”. Ver a este bebé impulsado por una red neuronal, aprendiendo activamente del mundo que lo rodeaba, me hizo reflexionar sobre las consecuencias no intencionadas de esta tecnología. Mi hija Ziya nació alrededor de la misma época, y cariñosamente la apodamos “Baby Z” después del avatar “Baby X” de Soul Machines. He hablado sobre esto en varias ocasiones, incluyendo en la conferencia de mujeres en el producto en 2019.

Los viajes de aprendizaje de Baby X y Baby Z eran sorprendentemente similares. A medida que Ziya crecía, le proporcionábamos el vocabulario inicial y las herramientas para aprender. Con el tiempo, comenzó a entender el mundo y a unir las cosas por sí misma. Baby X, el bebé de la red neuronal, estaba aprendiendo de manera similar a través de sensores de visión y reconocimiento de habla, y rápidamente construyendo una comprensión profunda del mundo humano.

Estos primeros momentos de la IA me hicieron claro que era fundamental encontrar formas de gestionar el riesgo y poner guardias efectivos alrededor de esta tecnología poderosa para asegurarse de que se despliegue para el bien.

¿Podrías compartir la historia de la creación de Credo AI?

Después de Qualcomm, fui reclutada para liderar la comercialización de las tecnologías de IA en Microsoft en el grupo de desarrollo comercial y, posteriormente, en el grupo de productos. Durante mi mandato, tuve la suerte de trabajar en una variedad de tecnologías de IA con aplicaciones en casos de uso desde la IA conversacional hasta la inteligencia de contrato, y desde inspecciones visuales hasta descubrimiento de productos impulsado por habla.

Sin embargo, la semilla de la gobernanza de la IA plantada en Qualcomm siguió creciendo a medida que continuaba presenciando el déficit de supervisión creciente en el desarrollo de tecnologías de IA. Como líder de productos que trabajaba con el equipo de ciencia de datos y ingeniería, estábamos motivados para construir una aplicación de IA de alto rendimiento impulsada por el aprendizaje automático y desplegarla rápidamente en el mercado.

Veíamos la cumplimiento y la gobernanza como un control de puerta que ralentizaba el ritmo de la innovación. Sin embargo, mis crecientes preocupaciones sobre el déficit de gobernanza entre los profesionales técnicos y de supervisión en riesgo, cumplimiento, auditoría, me motivaron a seguir explorando los desafíos en la realización de la gobernanza de la IA.

Todas las preguntas sin respuesta sobre la gobernanza de la IA me llevaron a buscar respuestas. Así que comencé a sentar las bases para una organización sin fines de lucro llamada MERAT (Mercado para herramientas de IA éticas y responsables) con el objetivo de crear un ecosistema para startups y Global 2000 que se centran en el desarrollo responsable de la IA.

A través de la experimentación temprana en MERAT, se hizo claro que no había startups que permitieran herramientas multistakeholder para alimentar la gobernanza integral de la IA y el aprendizaje automático – hasta Credo AI. Esta brecha fue mi oportunidad de realizar la misión de guiar la IA intencionalmente. Mi hipótesis seguía siendo validada de que la próxima frontera de la revolución de la IA estará guiada por la gobernanza. Las empresas que adopten la gobernanza surgirán como líderes en marcas de confianza.

Fui abordada por el AI Fund, un incubador fundado por Andrew Ng, un experto en IA renombrado. El AI Fund había estado centrado en los mismos temas de auditoría y gobernanza de la IA que yo había estado consumida durante la última década.

Credo AI se incorporó el 28 de febrero de 2020, con financiamiento del AI Fund.

Credo significa “un conjunto de valores que guían tus acciones”. Con Credo AI, nuestra visión es empoderar a las empresas para crear IA con los estándares éticos más altos.

En una entrevista anterior, discutiste cómo las marcas en el futuro serán de confianza no “solo” basadas en cómo construyen y despliegan la IA, sino en cómo escalan la IA para que esté al servicio de la humanidad. ¿Podrías elaborar sobre esto?

La Inteligencia Artificial es una de las tecnologías que cambian el juego de este siglo y ofrece oportunidades transformadoras para la economía y la sociedad. Está en camino de contribuir con casi $16 billones a la economía global para 2030.

Sin embargo, los últimos años han puesto un reflector en las principales amenazas de la IA (y no, no son los “amos de los robots”!) que ya están aquí. Por ejemplo, los algoritmos judiciales que optimizan para la mínima reincidencia (un regreso a la conducta delictiva) pueden introducir sesgo y negar la libertad condicional a aquellos que la merecen.

Los algoritmos sociales que optimizan para la participación pueden dividir a una nación.

Los algoritmos injustos pueden ser la razón por la que no obtienes un trabajo o la admisión a la universidad.

Cuanto más autonomía les damos a nuestras herramientas, más amplio es el rango de consecuencias no intencionadas. El impacto extraordinario genera un impacto extraordinario, pero no siempre el impacto que pretendemos (escribo sobre esto en el Manifiesto de Credo AI).

Predigo que las empresas que inviertan en la gobernanza de la IA para ayudarles a construir tecnología responsable y comprometerse con el uso ético de los datos, podrán generar confianza en los stakeholders – clientes, consumidores, inversores, empleados y otros.

¿Cómo ayuda Credo AI a mantener a las empresas responsables?

La responsabilidad significa una obligación de aceptar la responsabilidad de tus acciones. En el contexto del desarrollo y despliegue de la IA, esto significa que las empresas necesitan no solo alinearse en lo que “bueno significa para ellos”, sino tomar medidas intencionadas para demostrar acción en esos objetivos alineados y asumir la responsabilidad de los resultados.

Credo AI tiene como objetivo ser un sherpa para las empresas en sus iniciativas de IA ética y responsable para mantenerlas responsables ante los diversos stakeholders: usuarios, empleados, reguladores, auditores, inversores, ejecutivos y otros. Por lo tanto, Credo AI ha sido pionera en una solución integral, en tiempo real y contextual para entregar IA ética y responsable a escala.

Construir la responsabilidad y la confianza en la IA es un proceso dinámico. Las organizaciones deben alinearse en los valores de la empresa, codificar esos valores, construirlos en su infraestructura organizacional, observar el impacto y repetir el proceso con voces diversas que proporcionan entrada en cada etapa. Credo AI habilita esta responsabilidad a través de una solución integral y en tiempo real para la gestión del cumplimiento y la medición del riesgo para los despliegues de IA a escala.

Usando la solución de gobernanza de Credo AI, las empresas pueden:

• Alinear los requisitos de gobernanza para sus casos de uso y modelos de IA, con paquetes de políticas personalizables y herramientas de apoyo para la toma de decisiones para la evaluación de métricas de modelo.
• Evaluar e interrogar los datos y los modelos de aprendizaje automático contra esos objetivos alineados
• Analizar las especificaciones técnicas en impacto de riesgo para el negocio en cada etapa del desarrollo y despliegue del modelo, para que puedas detectar y solucionar los problemas de gobernanza antes de que se conviertan en problemas masivos

Al registrar las decisiones y acciones en cada punto, Credo AI captura el origen de las decisiones que se tomaron para la creación de los modelos como evidencia. Esta evidencia será un registro compartido internamente con los stakeholders de la empresa y externamente con auditores que construye la confianza en las intenciones de la IA.

Esta evidencia ayudará a los equipos de desarrollo a predecir y prevenir consecuencias no intencionadas y estandarizará la forma en que evaluamos la eficacia y la confiabilidad de los modelos de IA.

Estamos en las primeras etapas de habilitar la gobernanza de la IA a través de evaluaciones y garantías integrales y estamos emocionados de trabajar con más empresas para promover la responsabilidad.

¿Cómo ayuda Credo AI a las empresas a alejarse de la idea de que la gobernanza de la IA es algo que se hace después?

En el mundo de hoy, hay una falta de claridad sobre lo que realmente significa “IA responsable”, “IA ética” y “IA de confianza”, y cómo pueden las empresas entregar en ello. Ayudamos a reformular esta pregunta clave para las empresas, utilizando la plataforma de SaaS de Credo AI para demostrar la “economía de la ética”.

Con Credo AI, las empresas pueden no solo entregar IA justa, cumplidora y auditada, sino también construir la confianza del cliente.

Construir la confianza del cliente puede ampliar la base de clientes de una empresa y desbloquear más ventas. Por ejemplo, las empresas pueden proporcionar la mejor experiencia posible para el cliente utilizando IA ética en sus chatbots de servicio al cliente, o utilizar la IA de manera responsable para comprender la actividad del usuario y sugerir contenido o productos adicionales para ellos. Los clientes extremadamente satisfechos ofrecen la mejor publicidad al compartir su experiencia con amigos y familiares.

Además, las empresas también pueden ver cómo la colaboración entre las funciones técnicas y de supervisión puede ayudarles a ahorrar costos debido a un tiempo más rápido para el cumplimiento, la gestión informada del riesgo, la reducción del riesgo de la marca y regulatorio. Ayudamos a las organizaciones a desplegar IA ética construyendo un puente entre las métricas técnicas y los resultados comerciales tangibles. A medida que más personas se dan cuenta, defender la IA ética implica mucho más que marcar una casilla de “cumplimiento regulatorio”. Pero tiene el poder de entregar incluso más que una contribución a un mundo más equitativo, lo cual sería un resultado valioso por sí solo.

Cuando una empresa mantiene altos estándares éticos, puede esperar resultados comerciales reales, como un aumento en los ingresos. Cambiar la perspectiva de un concepto abstracto “blando” a una decisión comercial objetiva ha sido una forma clave para nosotros de ayudar a posicionar la gobernanza de la IA como una parte crítica del motor económico y social de la empresa.

Recientemente, la Administración Biden creó el Comité Asesor Nacional de Inteligencia Artificial. En tu opinión, ¿cuáles son las implicaciones de esto para los negocios de IA?

Los gobiernos en todo el mundo están avanzando a toda velocidad en la regulación de la IA, y las empresas necesitan prepararse. La creación del Comité Asesor Nacional de IA de la Administración Biden y las inversiones en la OSTP de la Casa Blanca es un buen primer paso para llevar acción a las discusiones sobre el proyecto de ley de derechos para gobernar los sistemas de IA. Sin embargo, aún hay mucho trabajo que hacer para realizar lo que significa la IA responsable para nuestro país y economía.

Creo que 2022 está posicionado para ser el año de acción para la IA responsable. Es un llamado de atención para las empresas que buscan implementar o fortalecer su marco ético de IA. Ahora es el momento para que las empresas evalúen su marco existente para detectar brechas, o para las empresas que carecen de un enfoque, implementar un marco sólido para la IA de confianza para establecerse para el éxito y liderar en la era de la IA.

Debemos esperar más regulaciones duras y suaves que surjan. Además de las acciones de la Casa Blanca, hay mucha energía que proviene de otros formuladores de políticas y agencias, como el proyecto de ley de Responsabilidad de Algoritmos del Senado, la guía de la Comisión Federal de Comercio (FTC) sobre el sesgo de la IA, y más.

Si avanzamos hacia el futuro, ¿cuán importante será la ética de la IA y la gobernanza de la IA en cinco años?

Estamos en las primeras etapas de la gobernanza de la IA. Para subrayar lo crítico que es, aquí hay algunas de mis predicciones para los próximos años:

• La gobernanza ética de la IA se convertirá en una prioridad para la organización

Las empresas siguen invirtiendo y cosechando los beneficios del uso de la IA en sus negocios. El IDC ha proyectado un gasto de $340 mil millones en IA en 2022. Sin gobernanza, las empresas estarán reacias a invertir en IA debido a preocupaciones sobre el sesgo, la seguridad, la precisión y el cumplimiento de estos sistemas.

Sin confianza, los consumidores también estarán reacios a aceptar productos o servicios basados en la IA o a compartir datos para construir estos sistemas. En los próximos cinco años, la gobernanza ética de la IA se convertirá en una prioridad en la sala de juntas y una métrica importante que las empresas tendrán que revelar y informar para generar confianza en los stakeholders.

• Nuevas categorías de trabajo sociotécnicas surgirán dentro de una empresa

Ya estamos viendo a organizaciones que avanzan en la ética invirtiendo significativamente en la futura prueba de su desarrollo para asegurarse de que la IA sea justa, cumplidora y auditada.

Para liderar en la IA, las empresas necesitarán acelerar el aprendizaje sobre el panorama regulatorio de la IA y la implementación de estructuras de responsabilidad a escala. A medida que evoluciona el campo emergente de la implementación de la IA ética, podría surgir una nueva categoría de trabajo sociotécnica que sirva como intermediaria entre las funciones técnicas y de supervisión, ayudando a desarrollar estándares y objetivos comunes. Este nuevo componente de la fuerza laboral podría funcionar como un puente entre las funciones técnicas y de supervisión, ayudando a desarrollar estándares y objetivos comunes.

• Nuevas experiencias impulsadas por la IA demandarán una gobernanza más estricta

Gestionar las consecuencias intencionadas y no intencionadas de la inteligencia artificial es crítico, especialmente a medida que entramos en el Metaverso y el mundo web3. Los riesgos de la IA existen en el mundo real y en el mundo virtual, pero se amplifican en este último.

Al sumergirse en el Metaverso sin una supervisión adecuada de la IA, las empresas ponen a sus clientes en riesgo de desafíos como el robo de identidad y el fraude. Es fundamental que los problemas de la IA y la gobernanza se resuelvan en el mundo real ahora para mantener a los consumidores seguros en el Metaverso.

• Nuevos ecosistemas en la gobernanza ética de la IA surgirán

El mundo ha despertado a la idea de que la gobernanza de la IA representa el bloque de construcción básico para operacionalizar la IA responsable. En los próximos años, veremos un mercado competitivo y dinámico de proveedores de servicios que surjan para proporcionar herramientas, servicios, educación y otras capacidades para apoyar esta necesidad masiva.

Además, también veremos la consolidación y el aumento de las plataformas de MLOps y GRC existentes para traer capacidades de gobernanza y evaluación a la IA.

¿Hay algo más que te gustaría compartir sobre Credo AI?

La gobernanza ética de la IA es una inversión a prueba de futuro que no puedes permitirte no hacer, y hoy es el mejor día para comenzar.

Gracias por la entrevista detallada y por compartir todas tus ideas sobre la gobernanza y la ética de la IA, los lectores que deseen aprender más pueden visitar Credo AI.