Navrina Singh, CEO e Fundadora da Credo AI – Série de Entrevistas

Navrina Singh é CEO e Fundadora da Credo AI, uma empresa que projeta a primeira plataforma de governança de IA abrangente como um serviço de software (SaaS) que permite que empresas e indivíduos entendam e forneçam IA confiável e ética, fiquem à frente de novas regulamentações e políticas e criem um registro de IA que seja auditável e transparente em toda a organização. A empresa vinha operando em sigilo e construindo silenciosamente um impressionante portfólio de clientes que inclui um dos maiores contratantes do governo e empresas de serviços financeiros do mundo, entre outras marcas da Fortune 100.

Você cresceu em uma pequena cidade na Índia com humildes origens, como você se viu atraída pela engenharia e pelo campo da IA?

Eu venho de uma família de classe média; meu pai estava no exército por quatro décadas e minha mãe era professora e se tornou designer de moda. Desde cedo, eles sempre encorajaram meu senso de curiosidade, amor por descobertas científicas e me deram um lugar seguro para explorar os “e ses”.

Quando eu estava crescendo na Índia, as mulheres não tinham tantas oportunidades quanto os homens. Muitas decisões já estavam tomadas para uma menina, com base no que era aceitável pela sociedade. A única maneira de escapar e proporcionar uma boa vida para a família era através da educação.

Depois de terminar o ensino médio, eu comprei meu primeiro computador, que foi minha janela para o mundo. Eu estava realmente interessada em hardware e passei horas online aprendendo a desmontar placas-mãe, construir aplicações de robótica, aprender a programar, refazer a instalação elétrica em minha casa (ai, meu Deus!) e muito mais. A engenharia se tornou meu espaço seguro, onde eu podia experimentar, explorar, construir e experimentar um mundo que eu queria fazer parte por meio de minhas invenções. Eu fui inspirada e animada por como a tecnologia podia ser uma ferramenta poderosa para afetar a mudança, especialmente para as mulheres.

Crescendo, meus meios eram limitados, mas as possibilidades não eram. Eu sempre sonhei em vir para os Estados Unidos para construir uma base mais forte em tecnologia para resolver os maiores desafios que a humanidade enfrenta. Eu imigrei para cá em 2001 para continuar minha jornada em engenharia na Universidade de Wisconsin-Madison.

Ao longo de quase duas décadas em engenharia, tive o privilégio de trabalhar em múltiplas tecnologias de fronteira, desde mobile até realidade aumentada.

Em 2011, comecei a explorar Inteligência Artificial para construir novos negócios emergentes na Qualcomm. Eu também passei tempo construindo negócios e aplicações em IA em fala, visão e NLP na Microsoft e Qualcomm, nos últimos dez anos. À medida que eu aprendia mais sobre IA e aprendizado de máquina, ficou evidente que essa tecnologia de fronteira iria disruptar massivamente nossas vidas além do que podemos imaginar.

Construir IA de escala empresarial também me fez perceber como a tecnologia pode prestar um desserviço e prejudicar nossas pessoas e comunidades, se não for controlada. Nós, como líderes, devemos assumir uma responsabilidade extrema pelas tecnologias que estamos construindo. Devemos ser proativos para maximizar seus benefícios para a humanidade e minimizar seu risco. Afinal, “O que fazemos, nos faz”. Portanto, construir de forma responsável é crítico, o que inspirou a próxima fase da minha carreira, construindo governança de IA.

Quando você começou a pensar seriamente sobre governança de IA?

Enquanto eu era chefe de inovação na Qualcomm, estávamos explorando as possibilidades que a IA poderia trazer para nossos negócios emergentes. Nosso trabalho inicial se concentrou em robôs colaborativos usados na cadeia de suprimentos. Essa foi a minha primeira exposição aos “reais” riscos da IA, especialmente em relação à segurança física dos humanos que operavam ao lado desses sistemas robóticos.

Durante esse tempo, passamos um tempo significativo com startups, como a Soul Machines, aprendendo novos casos de uso e encontrando maneiras de parcear com elas para acelerar nosso trabalho. A Soul Machines havia lançado uma nova versão de seu bebê avatar, “Baby X”. Assistir a esse bebê neural em rede, aprendendo ativamente com o mundo ao seu redor, me fez parar e refletir sobre as consequências não intencionais dessa tecnologia. Minha filha Ziya nasceu por volta da mesma época, e nós a apelidamos carinhosamente de Baby “Z” após o Baby “X” da Soul Machines. Eu falei sobre isso bastante, incluindo no Discurso de Abertura do Women In Product em 2019.

As jornadas de aprendizado do Baby X e do Baby Z eram assustadoramente semelhantes! À medida que Ziya crescia, estávamos fornecendo a ela o vocabulário inicial e as ferramentas para aprender. Com o tempo, ela começou a entender o mundo e a juntar as coisas sozinha. O Baby X, o bebê em rede neural, estava aprendendo de forma similar por meio de sensores de visão e reconhecimento de fala, e rapidamente construindo uma compreensão profunda do mundo humano.

Esses primeiros momentos de IA me fizeram perceber que era crítico encontrar maneiras de gerenciar riscos e estabelecer guardiões eficazes ao redor dessa tecnologia poderosa para garantir que ela seja implantada para o bem.

Pode compartilhar a história de criação por trás da Credo AI?

Depois da Qualcomm, fui recrutada para liderar a comercialização das tecnologias de IA na Microsoft no grupo de desenvolvimento de negócios e, subsequentemente, no grupo de produtos. Durante minha gestão, tive a sorte de trabalhar em um espectro de tecnologias de IA com aplicações em casos de uso desde IA Conversacional até inteligência de contrato, e desde inspeções visuais até descoberta de produtos com base em fala.

No entanto, a semente da governança de IA plantada na Qualcomm continuou a crescer à medida que eu continuava testemunhando o déficit crescente de supervisão no desenvolvimento de tecnologias de IA. Como líder de produto trabalhando com a equipe de ciência de dados e engenharia, estávamos motivados a construir uma aplicação de IA de alto desempenho alimentada por aprendizado de máquina e implantá-la rapidamente no mercado.

Nós víamos a conformidade e a governança como um controle de porta que desacelerava o ritmo da inovação. No entanto, minhas crescentes preocupações sobre o déficit de governança entre os profissionais técnicos e de supervisão em risco, conformidade, auditoria, me motivaram a continuar explorando os desafios na realização da governança de IA.

Todas as perguntas sem resposta sobre a governança de IA me levaram a buscar respostas. Então, comecei a estabelecer as bases para uma organização sem fins lucrativos chamada MERAT (Mercado para Ferramentas de IA Éticas e Responsáveis) com o objetivo de criar um ecossistema para startups e Global 2000 se concentrando no desenvolvimento responsável de IA.

Por meio da experimentação inicial no MERAT, ficou claro que não havia startups habilitando ferramentas multistakeholder para alimentar uma governança abrangente de aplicações de IA e ML – até a Credo AI. Essa lacuna foi minha oportunidade de realizar a missão de guiar a IA intencionalmente. Minha hipótese continuou sendo validada de que a próxima fronteira da revolução de IA será guiada pela governança. Empresas que abraçam a governança emergirão como líderes em marcas confiáveis.

Fui abordada pelo AI Fund, um incubador fundado por Andrew Ng, um renomado especialista em IA. O AI Fund havia se concentrado nos mesmos tópicos de auditabilidade e governança de IA que eu vinha consumindo por mais de uma década.

A Credo AI foi incorporada em 28 de fevereiro de 2020, com financiamento do AI Fund.

Credo significa “um conjunto de valores que guia suas ações”. Com a Credo AI, nossa visão é empoderar as empresas a criar IA com os mais altos padrões éticos.

Em uma entrevista anterior, você discutiu como as marcas no futuro serão confiáveis não “apenas” com base em como elas constroem e implantam IA, mas em como elas escalonam a IA para que ela esteja a serviço da humanidade. Pode elaborar sobre isso?

A Inteligência Artificial é uma das tecnologias que mudam o jogo deste século e oferece oportunidades transformadoras para a economia e a sociedade. Está no caminho para contribuir quase $16 trilhões para a economia global até 2030.

No entanto, os últimos anos colocaram o holofote em ameaças significativas de IA (e não, não são os robôs senhores!) que já estão aqui. Por exemplo, algoritmos judiciais que otimizam a recidiva mínima (um retorno ao comportamento criminoso) podem introduzir viés e negar liberdade condicional àqueles que a merecem.

Algoritmos sociais que otimizam o engajamento podem dividir uma nação.

Algoritmos injustos podem ser o motivo pelo qual você não consegue um emprego ou admissão na universidade.

Quanto mais autonomia damos às nossas ferramentas, maior o alcance das consequências não intencionais. O impacto extraordinário gera um impacto extraordinário, mas nem sempre o impacto que pretendemos (eu escrevo sobre isso no Manifesto da Credo AI).

Eu prevejo que as empresas que investem em governança de IA para ajudá-las a construir tecnologia de forma responsável e se comprometem com o uso ético de dados, serão capazes de gerar confiança em todos os stakeholders – clientes, consumidores, investidores, funcionários e outros.

Como a Credo AI ajuda a manter as empresas responsáveis?

Responsabilidade significa uma obrigação de aceitar responsabilidade por suas ações. No contexto do desenvolvimento e implantação de IA, isso significa que as empresas precisam não apenas ter alinhado o que “bom parece para elas”, mas também tomar medidas intencionais para demonstrar ação sobre esses objetivos alinhados e assumir responsabilidade pelos resultados.

A Credo AI tem como objetivo ser um guia para as empresas em suas iniciativas de IA ética e responsável para mantê-las responsáveis perante os diversos stakeholders: usuários, funcionários, reguladores, auditores, investidores, executivos e outros. Portanto, a Credo AI pioneiramente uma solução real-time, context-driven, abrangente e contínua para entregar IA ética e responsável em escala.

Construir responsabilidade e confiança em IA é um processo dinâmico. As organizações devem alinhar os valores da empresa, codificá-los, incorporá-los à infraestrutura organizacional, observar o impacto e repetir o processo com vozes diversificadas fornecendo entrada em cada estágio. A Credo AI habilita essa responsabilidade por meio de uma solução abrangente e em tempo real para gerenciar a conformidade e medir o risco para implantações de IA em escala.

Usando a solução de governança da Credo AI, as empresas são capazes de:

• Alinhar os requisitos de governança para seus casos de uso de IA e modelos, com pacotes de políticas personalizáveis e ferramentas de suporte à decisão para escolher métricas de avaliação de modelos.
• Avaliar e interrogar os dados e os modelos de ML contra esses objetivos alinhados
• Analisar especificações técnicas em impacto de risco para os negócios em cada estágio do desenvolvimento e implantação do modelo, para que você possa capturar e corrigir problemas de governança antes que eles se tornem problemas massivos

Ao registrar as decisões e ações em cada ponto, a Credo AI captura a origem das decisões que deram origem à criação dos modelos como evidência. Essa evidência será um registro compartilhado internamente com stakeholders da empresa e externamente com auditores que constrói confiança nas intenções da IA.

Essa evidência ajudará as equipes de desenvolvimento a prever e prevenir consequências não intencionais e padronizar a forma como avaliamos a eficácia e a confiabilidade dos modelos de IA.

Estamos nos primeiros estágios de habilitar a governança de IA por meio de avaliações e garantias abrangentes e estamos animados para trabalhar com mais empresas para promover a responsabilidade.

Como a Credo AI ajuda as empresas a se afastarem da governança de IA sendo um afterthought?

No mundo de hoje, há uma falta de clareza sobre o que realmente significa “responsável”, “ético” e “confiável” IA, e como as empresas podem entregar isso. Nós ajudamos a reestruturar essa pergunta-chave para as empresas, usando a plataforma de SaaS da Credo AI para demonstrar a “economia da ética”.

Com a Credo AI, as empresas são capazes de não apenas entregar IA justa, compatível e auditável, mas também construir confiança do cliente.

Construir confiança do consumidor pode ampliar a base de clientes de uma empresa e desbloquear mais vendas. Por exemplo, as empresas podem fornecer a melhor experiência possível do cliente usando IA ética em seus chatbots de serviço ao cliente, ou usar IA de forma responsável para entender a atividade do usuário e sugerir conteúdo ou produtos adicionais para eles. Clientes extremamente satisfeitos então oferecem a melhor publicidade compartilhando sua experiência com amigos e familiares.

Além disso, as empresas também podem ver como a colaboração entre funções técnicas e de supervisão pode ajudá-las a economizar custos devido a um tempo de conformidade mais rápido, gestão de risco informada, riscos de marca e regulamentação reduzidos. Nós ajudamos as organizações a implantar IA ética construindo uma ponte entre métricas técnicas e resultados de negócios tangíveis. À medida que mais e mais pessoas estão percebendo, defender IA ética envolve muito mais do que marcar uma caixa de “conformidade regulatória”. Mas tem o poder de entregar muito mais do que uma contribuição para um mundo mais equitativo, o que seria um resultado valioso por si só.

Quando uma empresa defende altos padrões éticos, ela pode esperar resultados de negócios reais, como aumento de receita. Mudar a perspectiva de um conceito “suave” abstrato para uma decisão de negócios objetiva tem sido uma forma importante de nos ajudar a posicionar a governança de IA como uma parte crítica do motor econômico e social da empresa.

Recentemente, a Administração Biden criou o Comitê Consultivo Nacional de Inteligência Artificial. Em sua opinião, quais são as implicações disso para os negócios de IA?

Os governos em todo o mundo estão indo em força total para regular a IA, e as empresas precisam se preparar. A criação pensada da Administração Biden do Comitê Consultivo Nacional de IA e os investimentos na OSTP da Casa Branca é um bom primeiro passo para trazer ação para as discussões em torno do projeto de lei de direitos para governar sistemas de IA. No entanto, muito trabalho precisa ser feito para realizar o que IA Responsável significaria para nosso país e economia.

Eu acredito que 2022 está posicionado para ser o ano de ação para IA responsável. É um despertar para as empresas que buscam implementar ou fortalecer seu quadro ético de IA. Agora é a hora para as empresas avaliarem seu quadro existente para lacunas, ou, para as empresas que carecem de uma abordagem, implementar um quadro sólido para IA confiável para estabelecê-las para o sucesso e liderar na era da IA.

Devemos esperar mais regulamentações rígidas e flexíveis. Além das ações da Casa Branca, há muita força vindo de outros formuladores de políticas e agências, como o projeto de lei de Responsabilidade Algorítmica do Senado, a orientação da Comissão Federal de Comércio (FTC) sobre viés de IA e mais.

Se avançarmos para o futuro, quão importante será a ética de IA e a governança de IA em cinco anos?

Estamos nos primeiros estágios da governança de IA. Para enfatizar quão crítico é a governança de IA, aqui estão algumas de minhas previsões para os próximos anos:

• A governança ética de IA se tornará uma prioridade organizacional de primeiro nível

As empresas continuam a investir e colher os benefícios do uso de IA em seus negócios. A IDC projetou um gasto de $340 bilhões em IA em 2022. Sem governança, as empresas serão relutantes em investir em IA devido a preocupações sobre viés, segurança, precisão, conformidade desses sistemas.

Sem confiança, os consumidores também serão relutantes em aceitar produtos baseados em IA ou compartilhar dados para construir esses sistemas. Nos próximos cinco anos, a governança ética de IA se tornará uma prioridade da sala de diretoria e uma métrica importante que as empresas terão que divulgar e relatar para construir confiança em todos os stakeholders.

• Novas categorias de trabalho sociotécnicas surgirão dentro de uma empresa

Estamos vendo organizações éticas investindo significativamente em provar seu desenvolvimento para garantir aplicações de IA justas, compatíveis e auditáveis.

Para liderar em IA, as empresas precisarão acelerar ainda mais o aprendizado sobre o cenário regulatório de IA e a implementação de estruturas de responsabilidade em escala. À medida que o campo emergente da implementação de IA ética evolui, uma nova categoria de trabalho sociotécnico pode surgir para facilitar essas conversas e assumir a liderança nessa área. Esse novo componente da força de trabalho poderia funcionar como intermediários entre os técnicos e os de supervisão, ajudando a desenvolver padrões e objetivos comuns.

• Novas experiências alimentadas por IA exigirão uma governança mais estrita

Gerenciar as consequências intencionais e não intencionais da inteligência artificial é crítico, especialmente à medida que entramos no Metaverso e no mundo da web3. Os riscos de IA existem no mundo real e no mundo virtual, mas são ainda mais amplificados neste último.

Ao mergulhar no Metaverso sem uma supervisão de IA, as empresas colocam seus clientes em risco de desafios como roubo de identidade e fraude. É fundamental que os problemas de IA e governança sejam resolvidos no mundo real agora para manter os consumidores seguros no Metaverso.

• Novos ecossistemas em governança ética de IA surgirão

O mundo acordou para a ideia de que a governança de IA representa o bloco de construção básico para operacionalizar IA responsável. Nos próximos anos, veremos um mercado competitivo e dinâmico de fornecedores de serviços emergir para fornecer ferramentas, serviços, educação e outras capacidades para apoiar essa necessidade maciça.

Além disso, também veremos a consolidação e ampliação de plataformas de MLops e GRC existentes, para trazer capacidades de governança e avaliação para IA.

Há algo mais que você gostaria de compartilhar sobre a Credo AI?

A governança ética de IA é um investimento à prova de futuro que você não pode se dar ao luxo de não fazer, e hoje é o melhor dia para começar.

Obrigada pela entrevista detalhada e por compartilhar todas as suas ideias sobre governança de IA e ética, leitores que desejam aprender mais devem visitar Credo AI.