Startups Criam Ferramentas para Monitorar IA e Promover Uso Ético de IA

Ao longo do último ano, parece que mais e mais atenção está sendo dada para garantir que a IA seja usada de maneiras éticas. O Google (GOOGL ) e a Microsoft (MSFT ) recentemente advertiram os investidores de que o mau uso de algoritmos de IA ou algoritmos de IA mal projetados apresenta riscos éticos e legais. Enquanto isso, o estado da Califórnia acaba de aprovou uma lei que proíbe o uso de tecnologia de reconhecimento facial por agências de aplicação da lei da Califórnia.

Recentemente, startups como a Arthur têm tentado criar ferramentas que ajudem os engenheiros de IA a quantificar e qualificar o desempenho de seus modelos de aprendizado de máquina. Conforme relatado pela Wired, a Arthur está tentando dar aos desenvolvedores de IA uma ferramenta que tornará mais fácil para eles descobrir problemas ao projetar aplicações financeiras, como revelar vieses em decisões de investimento ou empréstimo.

Os esforços da Arthur visam abordar o problema da “caixa preta” da IA. O problema da caixa preta da IA descreve como, ao contrário do código tradicional, que pode ser facilmente interpretado por quem sabe como lê-lo, os sistemas de aprendizado de máquina mapeiam recursos para comportamento sem revelar os motivos pelos quais esses comportamentos são selecionados/como os recursos foram interpretados. Em outras palavras, em um sistema de caixa preta, a implementação exata do algoritmo é opaca.

Os sistemas de aprendizado de máquina operam extrair padrões dos dados de entrada e raciocinar sobre esses padrões. Isso é feito basicamente fazendo com que um computador escreva seu próprio código manipulando certas funções matemáticas. Para abordar esse problema, os pesquisadores e engenheiros precisam de ferramentas que tornem a observação e a análise do comportamento do software de aprendizado de máquina mais fáceis. Startups como a Arthur reconhecem a dificuldade de resolver esse problema e não afirmam ter as soluções ótimas, mas esperam fazer progressos nessa área e tornar um pouco mais fácil abrir a caixa preta. É esperado que, se os sistemas de IA puderem ser analisados mais facilmente, também será mais fácil corrigir problemas como vieses.

Grandes empresas como o Facebook (META ) já têm algumas ferramentas para analisar o funcionamento interno dos sistemas de aprendizado de máquina. Por exemplo, o Facebook tem uma ferramenta chamada Fairness Flow, que visa garantir que os anúncios que recomendam empregos às pessoas atinjam pessoas de todos os diferentes contextos. No entanto, é provável que grandes equipes de IA não queiram investir tempo criando essas ferramentas, e, portanto, uma oportunidade de negócios existe para empresas que desejam criar ferramentas de monitoramento para uso por empresas de IA.

A Arthur se concentra em criar ferramentas que permitem que as empresas mantenham e monitorem melhor os sistemas de IA após o sistema ter sido implantado. As ferramentas da Arthur visam permitir que as empresas vejam como o desempenho do sistema muda ao longo do tempo, o que, teoricamente, permitiria que as empresas detectassem manifestações potenciais de vieses. Se o software de recomendação de empréstimos de uma empresa começa a excluir certos grupos de clientes, uma bandeira poderia ser definida para indicar que o sistema precisa ser revisado para garantir que não esteja discriminando clientes com base em atributos sensíveis, como raça ou gênero.

No entanto, a Arthur não é a única empresa criando ferramentas que permitem que as empresas de IA revisem o desempenho de seus algoritmos. Muitas startups estão investindo na criação de ferramentas para combater vieses e garantir que os algoritmos de IA sejam usados de maneira ética. Weights & Biases é outra startup criando ferramentas para ajudar os engenheiros de aprendizado de máquina a analisar problemas potenciais com sua rede. A Toyota usou as ferramentas criadas pela Weights & Biases para monitorar seus dispositivos de aprendizado de máquina enquanto treinavam. Enquanto isso, a startup Fiddler está trabalhando para criar um conjunto diferente de ferramentas de monitoramento de IA. A IBM até criou seu próprio serviço de monitoramento chamado OpenScale.

Liz O’Sullivan, uma das co-criadoras da Arthur, explicou que o interesse em criar ferramentas para ajudar a resolver o problema da Caixa Preta é impulsionado por uma crescente conscientização do poder da IA.

“As pessoas estão começando a perceber o quão poderosos esses sistemas podem ser, e que elas precisam aproveitar os benefícios de uma maneira responsável”, disse O’Sullivan.