Como realizar uma auditoria de IA em 2023

A auditoria de IA refere-se à avaliação de sistemas de IA para garantir que funcionem como esperado, sem viés ou discriminação, e que estejam alinhados com padrões éticos e legais. A IA experimentou um crescimento exponencial na última década. Consequentemente, os riscos relacionados à IA se tornaram uma preocupação para as organizações. Como Elon Musk disse:

“A IA é um caso raro em que acho que precisamos ser proativos na regulamentação, em vez de reativos.”

As organizações devem desenvolver governança, avaliação de riscos e estratégias de controle para os funcionários que trabalham com IA. A responsabilidade da IA se torna crítica na tomada de decisões em que os riscos são altos, como a implantação de policiamento em uma área e não em outra, a contratação e a rejeição de candidatos.

Este artigo apresentará uma visão geral da auditoria de IA, das estruturas e regulamentações para auditorias de IA e uma lista de verificação para auditoria de aplicações de IA.

Fatores a Considerar

• Conformidade: Avaliação de riscos relacionados à conformidade de um sistema de IA com considerações legais, regulamentares, éticas e sociais.
• Tecnologia: Avaliação de riscos relacionados às capacidades técnicas, incluindo aprendizado de máquina, padrões de segurança e desempenho do modelo.

Desafios para Auditoria de Sistemas de IA

• Viés: Os sistemas de IA podem amplificar os vieses nos dados em que são treinados e tomar decisões injustas. Reconhecendo esse problema, um instituto de pesquisa em Stanford University, Human Centered AI (HAI), lançou um desafio de inovação de $71.000 para projetar auditorias de IA melhores. O objetivo desse desafio foi proibir a discriminação em sistemas de IA.
• Complexidade: Os sistemas de IA, especialmente aqueles que empregam aprendizado profundo, são complexos e carecem de interpretabilidade.

Regulamentações e Estruturas Existentes para Auditoria de IA

Regulamentações e estruturas atuam como o norte para auditoria de IA. Algumas estruturas e regulamentações importantes de auditoria são discutidas abaixo.

Estruturas de Auditoria

1. COBIT Framework (Controle de Objetivos para Informação e Tecnologia Relacionada): É a estrutura para governança e gestão de TI de uma empresa.
2. Estrutura de Auditoria de IA do IIA (Instituto de Auditores Internos): Essa estrutura de IA visa avaliar o design, desenvolvimento e funcionamento de sistemas de IA e seu alinhamento com os objetivos da organização. Três componentes principais da Estrutura de Auditoria de IA do IIA são Estratégia, Governança e Fator Humano. Ela tem sete elementos que são os seguintes:

• Resiliência Cibernética
• Competências em IA
• Qualidade de Dados
• Arquitetura e Infraestrutura de Dados
• Mensuração de Desempenho
• Ética
• A Caixa Preta

3. Estrutura de GER do COSO: Essa estrutura fornece um quadro de referência para avaliar os riscos para sistemas de IA em uma organização. Ela tem cinco componentes para auditoria interna:

• Ambiente Interno: Garantir que a governança e gestão da organização estejam gerenciando os riscos de IA
• Definição de Objetivos: Colaborar com partes interessadas para criar uma estratégia de risco
• Identificação de Eventos: Identificar riscos nos sistemas de IA, como vieses não intencionais, violação de dados
• Avaliação de Riscos: Qual será o impacto do risco?
• Resposta a Riscos: Como a organização responderá a situações de risco, como qualidade de dados subótimos?

Regulamentações

O Regulamento Geral de Proteção de Dados (GDPR) é uma lei na regulamentação da UE que impõe obrigações às organizações para usar dados pessoais. Ele tem sete princípios:

• Legalidade, Justiça e Transparência: O processamento de dados pessoais deve respeitar a lei
• Limitação de Finalidade: Usar dados apenas para um propósito específico
• Minimização de Dados: Dados pessoais devem ser adequados e limitados
• Precisão: Os dados devem ser precisos e atualizados
• Limitação de Armazenamento: Não armazenar dados pessoais que não sejam mais necessários
• Integridade e Confidencialidade: Dados pessoais devem ser processados de forma segura
• Responsabilidade: O controlador deve processar os dados de forma responsável, seguindo as conformidades

Outras regulamentações incluem CCPA e PIPEDA.

Lista de Verificação para Auditoria de IA

Fontes de Dados

Identificar e verificar as fontes de dados é a consideração principal na auditoria de sistemas de IA. Os auditores verificam a qualidade dos dados e se a empresa pode usar os dados.

Validação Cruzada

Garantir que o modelo seja adequadamente validado é uma das listas de verificação dos auditores. Os dados de validação não devem ser usados para treinamento, e as técnicas de validação devem garantir a generalização do modelo.

Hospedagem Segura

Em alguns casos, os sistemas de IA usam dados pessoais. É importante avaliar se os serviços de hospedagem ou nuvem atendem aos requisitos de segurança de informações, como as diretrizes do OWASP (Open Web Application Security Project).

IA Explicável

IA Explicável refere-se à interpretação e compreensão das decisões tomadas pelo sistema de IA e dos fatores que afetam essas decisões. Os auditores verificam se os modelos são suficientemente explicáveis usando técnicas como LIME e SHAP.

Saídas do Modelo

A justiça é a primeira coisa que os auditores garantem nas saídas do modelo. As saídas do modelo devem permanecer consistentes quando variáveis como gênero, raça ou religião são alteradas. Além disso, a qualidade das previsões usando o método de pontuação apropriado também é avaliada.

Feedback Social

A auditoria de IA é um processo contínuo. Uma vez implantado, os auditores devem verificar o impacto social do sistema de IA. O sistema de IA e a estratégia de risco devem ser modificados e auditados de acordo com o feedback, uso, consequências e influência, seja positivo ou negativo.

Empresas que Auditoram Pipelines e Aplicações de IA

Cinco empresas principais que auditoram IA são as seguintes:

• Deloitte: Deloitte é a maior empresa de serviços profissionais do mundo e fornece serviços relacionados à auditoria, tributação e consultoria financeira. Deloitte emprega RPA, IA e análise para ajudar as organizações na avaliação de riscos de seus sistemas de IA.
• PwC: PwC é a segunda maior rede de serviços profissionais por receita. Eles desenvolveram metodologias de auditoria para ajudar as organizações a garantir responsabilidade, confiabilidade e transparência.
• EY: Em 2022, EY anunciou um investimento de $1 bilhão em uma plataforma de tecnologia habilitada para IA para fornecer serviços de auditoria de alta qualidade. As empresas impulsionadas por IA estão bem informadas para auditoria de sistemas de IA.
• KPMG: KPMG é a quarta maior empresa de serviços de contabilidade. KPMG fornece serviços personalizados em governança de IA, avaliação de riscos e controles.
• Grant Thronton: Eles ajudam os clientes a gerenciar riscos relacionados à implantação de IA e conformidade com ética e regulamentações de IA.

Benefícios da Auditoria de Sistemas de IA

• Gestão de Riscos: A auditoria previne ou mitiga riscos associados a sistemas de IA.
• Transparência: A auditoria garante que as aplicações de IA estejam livres de vieses e discriminação.
• Conformidades: A auditoria de aplicações de IA significa que o sistema segue conformidades legais e regulamentares.

Auditoria de IA: O que o Futuro Reserva

As organizações, autoridades reguladoras e auditores devem manter contato com os avanços da IA, perceber as ameaças potenciais e revisar frequentemente as regulamentações, estruturas e estratégias para garantir o uso justo, sem riscos e ético.

Em 2021, 193 estados membros da UNESCO adotaram um acordo global sobre a ética da IA. A IA é um ecossistema em constante evolução.

Quer mais conteúdo relacionado à IA? Visite unite.ai.