Entre em contato

Líderes de pensamento

Preconceito e imparcialidade de sistemas baseados em IA no crime financeiro

mm

Publicado

 on

Quando se trata de combater o crime financeiro, existem desafios que vão além do escopo de simplesmente deter os fraudadores ou outros criminosos.

Algumas das tecnologias mais recentes e avançadas que estão sendo lançadas geralmente têm seus próprios problemas específicos que devem ser considerados durante os estágios de adoção para combater com sucesso os fraudadores sem repercussões regulatórias. Na detecção de fraudes, a imparcialidade do modelo e o viés de dados podem ocorrer quando um sistema é mais pesado ou carece de representação de determinados grupos ou categorias de dados. Em teoria, um modelo preditivo poderia associar erroneamente sobrenomes de outras culturas com contas fraudulentas ou diminuir falsamente o risco dentro de segmentos populacionais para certos tipos de atividades financeiras.

Os sistemas de IA enviesados ​​podem representar uma séria ameaça quando as reputações podem ser afetadas e ocorrem quando os dados disponíveis não são representativos da população ou do fenômeno da exploração. Esses dados não incluem variáveis ​​que captam adequadamente o fenômeno que queremos prever. Ou, alternativamente, os dados podem incluir conteúdo produzido por humanos que podem conter preconceitos contra grupos de pessoas, herdados por experiências culturais e pessoais, levando a distorções na tomada de decisões. Embora a princípio os dados possam parecer objetivos, eles ainda são coletados e analisados ​​por humanos e, portanto, podem ser tendenciosos.

Embora não exista uma solução mágica quando se trata de remediar os perigos da discriminação e da injustiça nos sistemas de IA ou de soluções permanentes para o problema da justiça e da mitigação de preconceitos na arquitectura do modelo e da utilização da aprendizagem automática, estas questões devem ser consideradas tanto para a sociedade como para a sociedade. razões comerciais.

Fazendo a coisa certa na IA

Abordar o viés em sistemas baseados em IA não é apenas a coisa certa, mas também a coisa inteligente para os negócios – e os riscos para os líderes empresariais são altos. Sistemas de IA tendenciosos podem levar as instituições financeiras ao caminho errado ao alocar oportunidades, recursos, informações ou qualidade de serviço injustamente. Eles ainda têm o potencial de infringir as liberdades civis, prejudicar a segurança dos indivíduos ou impactar o bem-estar de uma pessoa se percebidos como depreciativos ou ofensivos.

É importante que as empresas entendam o poder e os riscos do viés da IA. Embora muitas vezes desconhecido pela instituição, um sistema baseado em IA tendencioso pode estar usando modelos ou dados prejudiciais que expõem o viés de raça ou gênero em uma decisão de empréstimo. Informações como nomes e gênero podem ser procurações para categorizar e identificar candidatos de maneira ilegal. Mesmo que o viés não seja intencional, ele ainda coloca a organização em risco ao não cumprir os requisitos regulatórios e pode levar a certos grupos de pessoas a serem negados injustamente empréstimos ou linhas de crédito.

Atualmente, as organizações não possuem as peças necessárias para mitigar com sucesso o viés nos sistemas de IA. Mas com a IA sendo cada vez mais implantada nas empresas para informar as decisões, é vital que as organizações se esforcem para reduzir o viés, não apenas por razões morais, mas para cumprir os requisitos regulamentares e gerar receita.

Cultura e Implementação “Fairness-Aware”

As soluções focadas em design e implementação com consciência justa terão os resultados mais benéficos. Os provedores devem ter uma cultura analítica que considere a aquisição, manuseio e gerenciamento responsáveis ​​de dados como componentes necessários da justiça algorítmica, porque se os resultados de um projeto de IA forem gerados por conjuntos de dados tendenciosos, comprometidos ou distorcidos, as partes afetadas não serão adequadamente protegidas contra danos discriminatórios.

Estes são os elementos de justiça de dados que as equipes de ciência de dados devem ter em mente:

  • Representatividade:Dependendo do contexto, a sub-representação ou super-representação de grupos desfavorecidos ou legalmente protegidos na amostra de dados pode levar à desvantagem sistemática das partes vulneráveis ​​nos resultados do modelo treinado. Para evitar esses tipos de viés de amostragem, a experiência no domínio será crucial para avaliar o ajuste entre os dados coletados ou adquiridos e a população subjacente a ser modelada. Os membros da equipe técnica devem oferecer meios de remediação para corrigir falhas de representação na amostragem.
  • Adequado ao propósito e suficiência: É importante entender se os dados coletados são suficientes para a finalidade pretendida do projeto. Conjuntos de dados insuficientes podem não refletir de forma equitativa as qualidades que devem ser ponderadas para produzir um resultado justificado que seja consistente com o objetivo desejado do sistema de IA. Assim, os membros da equipe do projeto com competências técnicas e políticas devem colaborar para determinar se a quantidade de dados é suficiente e adequada ao propósito.
  • Integridade da fonte e precisão da medição:A mitigação de viés eficaz começa no início dos processos de extração e coleta de dados. Tanto as fontes quanto as ferramentas de medição podem introduzir fatores discriminatórios em um conjunto de dados. Para garantir o não dano discriminatório, a amostra de dados deve ter uma integridade de fonte ideal. Isso envolve garantir ou confirmar que os processos de coleta de dados envolveram fontes de medição adequadas, confiáveis ​​e imparciais e métodos robustos de coleta.
  • Atualidade e atualidade: se os conjuntos de dados incluírem dados desatualizados, as alterações na distribuição de dados subjacentes podem afetar adversamente a capacidade de generalização do modelo treinado. Desde que esses desvios distributivos reflitam mudanças nas relações sociais ou dinâmicas de grupo, essa perda de precisão em relação às características reais da população subjacente pode introduzir viés no sistema de IA. Na prevenção de resultados discriminatórios, a pontualidade e a atualidade de todos os elementos do conjunto de dados devem ser examinadas.
  • Relevância, Adequação e Conhecimento de Domínio: A compreensão e o uso das fontes e tipos de dados mais adequados são cruciais para a construção de um sistema de IA robusto e imparcial. O conhecimento de domínio sólido da distribuição da população subjacente e do objetivo preditivo do projeto é fundamental para a seleção de entradas de medição relevantes que contribuem para a resolução razoável da solução definida. Os especialistas de domínio devem colaborar estreitamente com as equipes de ciência de dados para auxiliar na determinação de categorias e fontes de medição otimizadas.

Embora os sistemas baseados em IA ajudem nos processos de automação da tomada de decisões e proporcionem economia de custos, as instituições financeiras que consideram a IA como uma solução devem estar atentas para garantir que decisões tendenciosas não ocorram. Os líderes de conformidade devem estar em sintonia com sua equipe de ciência de dados para confirmar que os recursos de IA são responsáveis, eficazes e livres de preconceitos. Ter uma estratégia que defenda a IA responsável é a coisa certa a fazer e também pode fornecer um caminho para a conformidade com futuras regulamentações de IA.

Danny Butvinik é o cientista-chefe de dados da NICE Ativar, fornecendo liderança técnica e profissional. Danny é um especialista em inteligência artificial e ciência de dados, autor de vários artigos e artigos científicos. Em sua função atual, ele gerencia um grande grupo de cientistas de dados e contribui para o crescimento da inovação e da propriedade intelectual da empresa, com mais de 15 anos de experiência em pesquisa, desenvolvimento e gerenciamento em ciência de dados e desenvolvimento de software.