Navrina Singh, CEO e Fundadora da Credo AI – Série de Entrevistas

Navrina Singh é CEO e Fundadora da Credo AI, uma empresa que projeta a primeira plataforma de governança de IA abrangente como um serviço que permite que empresas e indivíduos entendam e forneçam IA confiável e ética, fiquem à frente de novas regulamentações e políticas e criem um registro de IA que é auditável e transparente em toda a organização. A empresa vinha operando em sigilo e construindo silenciosamente um impressionante portfólio de clientes que inclui um dos maiores contratantes do governo e empresas de serviços financeiros do mundo, entre outras marcas do Fortune 100.

Você cresceu em uma pequena cidade na Índia com humildes começos, como você se sentiu atraída pela engenharia e pelo campo da IA?

Vim de uma família de classe média; meu pai estava no exército por quatro décadas e minha mãe era professora que se tornou designer de moda. Desde cedo, eles sempre incentivaram meu senso de curiosidade, amor por descobertas científicas e me deram um lugar seguro para explorar os “e se”.

Quando eu estava crescendo na Índia, as mulheres não tinham tantas oportunidades quanto os homens. Muitas decisões já estavam tomadas para uma menina, com base no que era aceitável pela sociedade. A única maneira de escapar e proporcionar uma boa vida para a família era por meio da educação.

Depois de terminar o ensino médio, eu comprei meu primeiro computador, que foi minha janela para o mundo. Eu estava realmente interessada em hardware e passei horas online aprendendo a desmontar placas-mãe, construir aplicações de robótica, aprender a programar, refazer a instalação elétrica da minha casa (ai, meu Deus!) e muito mais. A engenharia se tornou meu espaço seguro, onde eu podia experimentar, explorar, construir e experimentar um mundo que eu queria fazer parte por meio das minhas invenções. Eu fui inspirada e animada por como a tecnologia poderia ser uma ferramenta poderosa para causar mudanças, especialmente para as mulheres.

Crescendo, meus recursos eram limitados, mas as possibilidades não eram. Eu sempre sonhei em vir para os Estados Unidos para construir uma base mais forte em tecnologia para resolver os maiores desafios que a humanidade enfrenta. Eu imigrei para cá em 2001 para continuar minha jornada em engenharia na Universidade de Wisconsin-Madison.

Ao longo de quase duas décadas em engenharia, tive o privilégio de trabalhar em múltiplas tecnologias de fronteira, desde celulares até realidade aumentada.

Em 2011, comecei a explorar Inteligência Artificial para construir novos negócios emergentes na Qualcomm (QCOM ). Também passei tempo construindo negócios e aplicações em IA em fala, visão e NLP na Microsoft (MSFT ) e Qualcomm, ao longo da última década. À medida que aprendi mais sobre IA e aprendizado de máquina, ficou evidente que essa tecnologia de fronteira iria disruptar massivamente nossas vidas além do que podemos imaginar.

Construir IA em escala empresarial também me fez perceber como a tecnologia pode fazer um desserviço e prejudicar nossas pessoas e comunidades, se não for controlada. Nós, como líderes, devemos assumir uma responsabilidade extrema pelas tecnologias que estamos construindo. Devemos ser proativos em maximizar seus benefícios para a humanidade e minimizar seus riscos. Afinal, “O que fazemos, nos faz”. Construir de forma responsável é crítico, o que inspirou a próxima fase da minha carreira, construindo governança de IA.

Quando você começou a pensar seriamente sobre governança de IA?

Enquanto eu era chefe de inovação na Qualcomm, estávamos explorando as possibilidades que a IA poderia trazer para nossos negócios emergentes. Nosso trabalho inicial se concentrou em robôs colaborativos usados na cadeia de suprimentos. Essa foi a minha primeira exposição aos “verdadeiros” riscos da IA, especialmente em relação à segurança física dos humanos que operavam ao lado desses sistemas robóticos.

Naquela época, passamos muito tempo com startups, como a Soul Machines, aprendendo novos casos de uso e encontrando maneiras de nos associar a elas para acelerar nosso trabalho. A Soul Machines havia lançado uma nova versão de seu avatar de bebê, “Baby X”. Assistir a esse bebê movido por rede neural, aprendendo ativamente com o mundo ao seu redor, me fez parar e refletir sobre as consequências não intencionais dessa tecnologia. Minha filha Ziya nasceu por volta da mesma época, e nós a apelidamos carinhosamente de “Baby Z” após o “Baby X” da Soul Machines. Eu falei sobre isso bastante, incluindo no discurso de abertura do Women In Product em 2019.

As jornadas de aprendizado do Baby X e do Baby Z eram assustadoramente semelhantes! À medida que Ziya crescia, estávamos fornecendo a ela o vocabulário inicial e as ferramentas para aprender. Com o tempo, ela começou a entender o mundo e a juntar as coisas sozinha. O Baby X, o bebê movido por rede neural, estava aprendendo de forma similar por meio de sensores de visão e reconhecimento de fala, e rapidamente construindo uma compreensão profunda do mundo humano.

Esses primeiros momentos de IA me fizeram perceber que era crítico encontrar maneiras de gerenciar riscos e estabelecer guardrails eficazes ao redor dessa tecnologia poderosa para garantir que ela seja implantada para o bem.

Pode compartilhar a história de criação da Credo AI?

Depois da Qualcomm, fui recrutada para liderar a comercialização das tecnologias de IA na Microsoft no grupo de desenvolvimento de negócios e, subsequentemente, no grupo de produtos. Durante minha gestão, tive a sorte de trabalhar em uma variedade de tecnologias de IA com aplicações em casos de uso desde IA de conversação até inteligência de contrato, e desde inspeções visuais até descoberta de produtos movida por fala.

No entanto, a semente da governança de IA plantada na Qualcomm continuou crescendo à medida que eu continuava testemunhando o déficit crescente de supervisão no desenvolvimento de tecnologias de IA. Como líder de produto trabalhando com a equipe de ciência de dados e engenharia, estávamos motivados a construir uma aplicação de IA de alto desempenho movida por aprendizado de máquina e implantá-la rapidamente no mercado.

Víamos conformidade e governança como um ponto de verificação que desacelerava o ritmo da inovação. No entanto, minhas preocupações crescentes sobre o déficit de governança entre os profissionais técnicos e de supervisão em risco, conformidade e auditoria me motivaram a continuar explorando os desafios na realização da governança de IA.

Todas as perguntas sem resposta sobre governança de IA me levaram a buscar respostas. Então, comecei a estabelecer as bases para uma organização sem fins lucrativos chamada MERAT (Mercado para Ferramentas de IA Éticas e Responsáveis) com o objetivo de criar um ecossistema para startups e empresas do Global 2000 que se concentram no desenvolvimento responsável de IA.

Através da experimentação inicial no MERAT, ficou claro que não havia startups habilitando ferramentas multistakeholder para alimentar a governança abrangente de IA e ML – até a Credo AI. Essa lacuna foi minha oportunidade de realizar a missão de guiar a IA intencionalmente. Minha hipótese continuou sendo validada de que a próxima fronteira da revolução de IA será guiada pela governança. Empresas que abraçam a governança emergirão como líderes em marcas confiáveis.

Fui abordada pelo AI Fund, um incubador fundado por Andrew Ng, um renomado especialista em IA. O AI Fund havia se concentrado nos mesmos tópicos de auditoria de IA e governança com os quais eu havia me consumido por mais de uma década.

A Credo AI foi incorporada em 28 de fevereiro de 2020, com financiamento do AI Fund.

Credo significa “um conjunto de valores que guiam suas ações”. Com a Credo AI, nossa visão é empoderar as empresas a criar IA com os mais altos padrões éticos.

Em uma entrevista anterior, você discutiu como as marcas no futuro serão confiáveis não “apenas” com base em como elas constroem e implantam IA, mas em como elas escalonam a IA para que ela esteja a serviço da humanidade. Pode elaborar sobre isso?

A Inteligência Artificial é uma das tecnologias que mudam o jogo deste século e oferece oportunidades transformadoras para a economia e a sociedade. Está no caminho para contribuir quase $16 trilhões para a economia global até 2030.

No entanto, os últimos anos colocaram o holofote em ameaças significativas de IA (e não, não são os robôs senhores!) que já estão aqui. Por exemplo, algoritmos judiciais que otimizam a recidiva mínima (um retorno ao comportamento criminoso) podem introduzir viés e negar liberdade condicional àqueles que a merecem.

Algoritmos sociais que otimizam o engajamento podem dividir uma nação.

Algoritmos injustos podem ser a razão pela qual você não consegue um emprego ou admissão na universidade.

Quanto mais autonomia damos às nossas ferramentas, maior o alcance das consequências não intencionais. O impacto extraordinário gera um impacto extraordinário, mas nem sempre o impacto que pretendemos (eu escrevo sobre isso no Manifesto da Credo AI).

Eu prevê que as empresas que investem em governança de IA para ajudá-las a construir tecnologia de forma responsável e se comprometem com o uso ético de dados, poderão engendrar confiança em todas as partes interessadas – clientes, consumidores, investidores, funcionários e outros.

Como a Credo AI ajuda a manter as empresas responsáveis?

Responsabilidade significa uma obrigação de aceitar responsabilidade por suas ações. No contexto do desenvolvimento e implantação de IA, isso significa que as empresas precisam não apenas ter alinhado sobre o que “bom parece para elas”, mas também tomar medidas intencionais para demonstrar ação sobre esses objetivos alinhados e assumir responsabilidade pelos resultados.

A Credo AI visa ser um guia para as empresas em suas iniciativas de IA ética e responsável para mantê-las responsáveis perante as diversas partes interessadas: usuários, funcionários, reguladores, auditores, investidores, executivos e outros. Portanto, a Credo AI pioneiramente desenvolveu uma solução abrangente, em tempo real e contínua para entregar IA ética e responsável em escala.

Construir responsabilidade e confiança em IA é um processo dinâmico. As organizações devem alinhar os valores da empresa, codificá-los, incorporá-los à infraestrutura organizacional, observar o impacto e repetir o processo com vozes diversificadas fornecendo entrada em cada estágio. A Credo AI habilita essa responsabilidade por meio de uma solução abrangente e em tempo real para gerenciar a conformidade e medir o risco para implantações de IA em escala.

Usando a solução de governança da Credo AI, as empresas são capazes de:

• Alinhar os requisitos de governança para seus casos de uso de IA e modelos, com pacotes de políticas personalizáveis e ferramentas de suporte à decisão para escolher métricas de avaliação de modelo.
• Avaliar e interrogar os dados e os modelos de ML contra esses objetivos alinhados.
• Analisar especificações técnicas em impacto de risco para os negócios em cada estágio do desenvolvimento e implantação do modelo, para que você possa capturar e corrigir problemas de governança antes que se tornem problemas maciços.

Ao registrar as decisões e ações em cada ponto, a Credo AI captura a origem das decisões que entraram na criação dos modelos como evidência. Essa evidência será um registro compartilhado internamente com as partes interessadas da empresa e externamente com auditores que constrói confiança nas intenções da IA.

Essa evidência ajudará as equipes de desenvolvimento a prever e prevenir consequências não intencionais e padronizar a forma como avaliamos a eficácia e a confiabilidade dos modelos de IA.

Estamos nos estágios iniciais de habilitar a governança de IA por meio de avaliações e garantias abrangentes e estamos animados para trabalhar com mais empresas para promover a responsabilidade.

Como a Credo AI ajuda as empresas a se afastarem da governança de IA sendo algo secundário?

No mundo de hoje, há uma falta de clareza sobre o que realmente significa “responsável”, “ético” e “confiável” IA, e como as empresas podem entregar isso. Nós ajudamos a redefinir essa pergunta-chave para as empresas, usando a plataforma de SaaS da Credo AI para demonstrar a “economia da ética”.

Com a Credo AI, as empresas são capazes de não apenas entregar IA justa, compatível e auditável, mas também construir confiança do cliente.

Construir confiança do cliente pode ampliar a base de clientes de uma empresa e desbloquear mais vendas. Por exemplo, as empresas podem fornecer a melhor experiência possível do cliente usando IA ética em seus chatbots de atendimento ao cliente, ou usar IA de forma responsável para entender a atividade do usuário e sugerir conteúdo ou produtos adicionais para eles. Clientes extremamente satisfeitos então oferecem a melhor publicidade, compartilhando sua experiência com amigos e familiares.

Além disso, as empresas também podem ver como a colaboração entre funções técnicas e de supervisão pode ajudá-las a economizar custos devido a um tempo de conformidade mais rápido, gestão de risco informada, riscos de marca e regulatórios reduzidos. Nós ajudamos as organizações a implantar IA ética, construindo uma ponte entre métricas técnicas e resultados de negócios tangíveis. À medida que mais e mais pessoas estão percebendo, defender IA ética envolve muito mais do que apenas marcar uma caixa de “conformidade regulatória”. Mas tem o poder de entregar ainda mais do que uma contribuição para um mundo mais equitativo, o que seria um resultado valioso por si só.

Quando uma empresa defende altos padrões éticos, ela pode esperar resultados de negócios reais, como aumento de receita. Mudar a perspectiva de um conceito “abstrato” e “suave” para uma decisão de negócios objetiva tem sido uma forma importante de nos ajudar a posicionar a governança de IA como uma parte crítica do motor econômico e social da empresa.

Recentemente, a Administração Biden criou o Comitê Consultivo Nacional de Inteligência Artificial. Em sua opinião, quais são as implicações disso para os negócios de IA?

Os governos em todo o mundo estão se movendo em direção à regulação da IA, e as empresas precisam se preparar. A criação pensada da Administração Biden do Comitê Consultivo Nacional de IA e os investimentos na OSTP da Casa Branca é um bom primeiro passo para trazer ação para as discussões em torno do projeto de lei de direitos para governar sistemas de IA. No entanto, muito trabalho precisa ser feito para realizar o que a IA Responsável significaria para nosso país e economia.

Acredito que 2022 está posicionado para ser o ano de ação para IA responsável. É um chamado à ação para as empresas que buscam implementar ou fortalecer seu quadro ético de IA. Agora é a hora para as empresas avaliarem seu quadro existente para lacunas, ou, para as empresas que carecem de uma abordagem, implementar um quadro sólido para IA confiável para se posicionar para o sucesso e liderar na era da IA.

Devemos esperar mais regulamentações rígidas e flexíveis para emergir. Além das ações da Casa Branca, há muito momentum vindo de outros formuladores de políticas e agências, como o projeto de lei de Responsabilidade Algorítmica do Senado, a orientação da Comissão Federal de Comércio (FTC) sobre viés de IA e muito mais.

Se avançarmos para o futuro, quão importante será a ética de IA e a governança de IA em cinco anos?

Estamos nos estágios iniciais da governança de IA. Para sublinhar quão crítica é a governança de IA, aqui estão algumas de minhas previsões para os próximos anos:

• A governança ética de IA se tornará uma prioridade organizacional de ponta

As empresas continuam a investir e a colher os benefícios do uso de IA em seus negócios. A IDC projetou um gasto de $340 bilhões em IA em 2022. Sem governança, as empresas estarão relutantes em investir em IA devido a preocupações sobre viés, segurança, precisão e conformidade desses sistemas.

Sem confiança, os consumidores também estarão relutantes em aceitar produtos baseados em IA ou em compartilhar dados para construir esses sistemas. Nos próximos cinco anos, a governança ética de IA se tornará uma prioridade da sala de diretoria e uma métrica importante que as empresas terão que divulgar e relatar para construir confiança em todas as partes interessadas.

• Novas categorias de trabalho sociotécnicas surgirão dentro de uma empresa

Já estamos vendo organizações éticas investindo significativamente na prova de conceito de seu desenvolvimento para garantir IA justa, compatível e auditável.

Para liderar em IA, as empresas precisarão acelerar ainda mais o aprendizado sobre o cenário regulatório de IA e a implementação de estruturas de responsabilidade em escala. À medida que o campo emergente da implementação de IA ética evolui, uma nova categoria de trabalho sociotécnica pode surgir para facilitar essas conversas e assumir a liderança nessa área. Esse novo componente da força de trabalho poderia funcionar como intermediários entre as funções técnicas e de supervisão, ajudando a desenvolver padrões e objetivos comuns.

• Novas experiências movidas por IA exigirão uma governança mais estrita

Gerenciar as consequências intencionais e não intencionais da inteligência artificial é crítico, especialmente à medida que entramos no Metaverso e no mundo da web3. Os riscos da IA existem no mundo real e no mundo virtual, mas são amplificados no último.

Ao mergulhar no Metaverso sem uma supervisão adequada de IA, as empresas colocam seus clientes em risco de desafios como roubo de identidade e fraude. É fundamental que os problemas de IA e governança sejam resolvidos no mundo real agora para manter os consumidores seguros no Metaverso.

• Novos ecossistemas em governança ética de IA surgirão

O mundo acordou para a ideia de que a governança de IA representa o bloco de construção básico para operacionalizar IA responsável. Nos próximos anos, veremos um mercado competitivo e dinâmico de provedores de serviços emergir para fornecer ferramentas, serviços, educação e outras capacidades para apoiar essa necessidade maciça.

Além disso, também veremos a consolidação e o aumento das plataformas de MLops e GRC existentes para trazer capacidades de governança e avaliação para a IA.

Há algo mais que você gostaria de compartilhar sobre a Credo AI?

A governança ética de IA é um investimento comprovado que você não pode se dar ao luxo de não fazer, e hoje é o melhor dia para começar.

Obrigada pela entrevista detalhada e por compartilhar todas as suas perspectivas sobre governança e ética de IA, os leitores que desejam aprender mais devem visitar Credo AI.