Startups Criando Ferramentas Para Monitorar IA e Promover Uso Ético de IA

Ao longo do último ano, parece que cada vez mais atenção está sendo dada para garantir que a IA seja usada de maneiras éticas. Google e Microsoft ambos recentemente advertiram investidores de que o mau uso de algoritmos de IA ou algoritmos de IA mal projetados apresentam riscos éticos e legais. Enquanto isso, o estado da Califórnia acaba de decidir aprovar um projeto de lei que proíbe o uso de tecnologia de reconhecimento facial por agências de aplicação da lei da Califórnia.

Recentemente, startups como Arthur vêm tentando projetar ferramentas que ajudarão os engenheiros de IA a quantificar e qualificar como seus modelos de aprendizado de máquina se saem. Conforme relatado pela Wired, Arthur está tentando dar aos desenvolvedores de IA uma ferramenta que tornará mais fácil para eles descobrir problemas ao projetar aplicações financeiras, como revelar viés em decisões de investimento ou empréstimo.

Os esforços de Arthur visam abordar o problema da “caixa preta” da IA. O problema da caixa preta na IA descreve como, ao contrário do código tradicional, que pode ser facilmente interpretado por aqueles que sabem como lê-lo, os sistemas de aprendizado de máquina mapeiam recursos para comportamento sem revelar os motivos pelos quais esses comportamentos são selecionados / como os recursos foram interpretados. Em outras palavras, em um sistema de caixa preta, a implementação exata do algoritmo é opaca.

Os sistemas de aprendizado de máquina operam extraíndo padrões dos dados de entrada e raciocinando sobre esses padrões. Isso é realizado essencialmente fazendo com que um computador escreva seu próprio código manipulando certas funções matemáticas. Para abordar esse problema, pesquisadores e engenheiros precisam de ferramentas que tornem a observação e análise do comportamento do software de aprendizado de máquina mais fáceis. Startups como Arthur reconhecem a dificuldade de resolver esse problema e não afirmam ter as soluções ótimas, mas estão tentando fazer progressos nessa área e tornar mais fácil abrir a caixa preta. É esperado que, se os sistemas de IA puderem ser analisados mais facilmente, também será mais fácil corrigir problemas como viés.

Grandes empresas como Facebook já têm algumas ferramentas para analisar o funcionamento interno dos sistemas de aprendizado de máquina. Por exemplo, Facebook tem uma ferramenta chamada Fairness Flow, que visa garantir que os anúncios que recomendam empregos às pessoas atinjam pessoas de todos os diferentes backgrounds. No entanto, é provável que grandes equipes de IA não queiram investir tempo na criação de tais ferramentas, e, portanto, uma oportunidade de negócios existe para empresas que desejam criar ferramentas de monitoramento para uso por empresas de IA.

Arthur está focado em criar ferramentas que permitam que as empresas mantenham e monitorem melhor os sistemas de IA após o sistema ter sido implantado. As ferramentas de Arthur visam permitir que as empresas vejam como o desempenho do sistema muda ao longo do tempo, o que, teoricamente, permitiria que as empresas detectassem manifestações potenciais de viés. Se o software de recomendação de empréstimos de uma empresa começar a excluir certos grupos de clientes, uma bandeira poderia ser definida para indicar que o sistema precisa ser revisado para garantir que não esteja discriminando clientes com base em atributos sensíveis, como raça ou gênero.

No entanto, Arthur não é a única empresa criando ferramentas que permitem que as empresas de IA revisem o desempenho de seus algoritmos. Muitas startups estão investindo na criação de ferramentas para combater o viés e garantir que os algoritmos de IA sejam usados de maneira ética. Weights & Biases é outra startup criando ferramentas para ajudar os engenheiros de aprendizado de máquina a analisar problemas potenciais com sua rede. Toyota usou as ferramentas criadas pela Weights & Biases para monitorar seus dispositivos de aprendizado de máquina enquanto os treinava. Enquanto isso, a startup Fiddler está trabalhando para criar um conjunto diferente de ferramentas de monitoramento de IA. IBM até criou seu próprio serviço de monitoramento chamado OpenScale.

Liz O’Sullivan, uma das co-criadoras da Arthur, explicou que o interesse em criar ferramentas para ajudar a resolver o problema da Caixa Preta é impulsionado por uma crescente consciencialização do poder da IA.

“As pessoas estão começando a perceber o quão poderosos esses sistemas podem ser, e que elas precisam aproveitar os benefícios de uma maneira responsável”, disse O’Sullivan.