Como realizar uma auditoria de IA em 2023

A auditoria de IA refere-se à avaliação de sistemas de IA para garantir que funcionem conforme o esperado sem viés ou discriminação e estão alinhados com padrões éticos e legais. A IA experimentou um crescimento exponencial na última década. Consequentemente, os riscos relacionados à IA tornaram-se uma preocupação para as organizações. Como disse Elon Musk:

“A IA é um caso raro em que acho que precisamos ser proativos na regulamentação, em vez de reativos.”

As organizações devem desenvolver estratégias de governança, avaliação de riscos e controle para funcionários que trabalham com IA. A responsabilidade da IA ​​torna-se crítica na tomada de decisões onde os riscos são altos, como implantar o policiamento em uma área e não na outra, contratar e rejeitar candidatos.

Este artigo apresentará uma visão geral da auditoria de IA, estruturas e regulamentos para auditorias de IA e uma lista de verificação para auditoria de aplicativos de IA.

Fatores a serem considerados

• Conformidade: Avaliação de risco relacionada à conformidade de um sistema de IA com considerações legais, regulatórias, éticas e sociais.
• Tecnologia: Avaliação de riscos relacionados a capacidades técnicas, incluindo aprendizado de máquina, padrões de segurança e desempenho de modelo.

Desafios para a auditoria de sistemas de IA

• Viés: os sistemas de IA podem amplificar os vieses nos dados em que são treinados e tomar decisões injustas. Reconhecendo este problema, um instituto de pesquisa de problemas de pesquisa na Universidade de Stanford, Human Centered AI (HAI), lançou um desafio de inovação de $ 71,000 para projetar melhores auditorias de IA. O objetivo deste desafio era proibir a discriminação em sistemas de IA.
• Complexidade: os sistemas de IA, especialmente aqueles que empregam aprendizado profundo, são complexos e carecem de interpretabilidade.

Regulamentos e estruturas existentes para auditoria de IA

Regulamentação e as estruturas atuam como a estrela do norte para a auditoria de IA. Algumas estruturas e regulamentos de auditoria importantes são discutidos abaixo.

Estruturas de auditoria

1. COBIT Framework (Control Objectives for Information and related Technology): É o framework para governança e gestão de TI de uma empresa.
2. IIA's (Institute of Internal Auditors) Estrutura de auditoria de IA: esta estrutura de IA visa avaliar o design, o desenvolvimento e o funcionamento de sistemas de IA e seu alinhamento com os objetivos da organização. Os três componentes principais da Estrutura de Auditoria de IIA do IIA são Estratégia, Governança e Fator Humano. Tem sete elementos que são os seguintes:

• Resiliência Cibernética
• Competências de IA
• Qualidade de dados
• Arquitetura e infraestrutura de dados
• Medindo o desempenho
• Ética
• A caixa negra

3. Estrutura COSO ERM: Esta estrutura fornece um quadro de referência para avaliar os riscos para sistemas de IA em uma organização. Possui cinco componentes para auditoria interna:

• Ambiente interno: garantir que a governança e a gestão da organização estejam gerenciando os riscos de IA
• Definição de Objetivo: Colaborar com as partes interessadas para fazer a estratégia de risco
• Identificação de eventos: identificação de riscos nos sistemas de IA, como vieses não intencionais, violação de dados
• Avaliação de risco: Qual será o impacto do risco?
• Resposta ao risco: como a organização responderá a situações de risco, como qualidade de dados abaixo do ideal?

Regulamentação

O Regulamento Geral de Proteção de Dados (GDPR) é uma lei no regulamento da UE que impõe obrigações às organizações de usar dados pessoais. Possui sete princípios:

• Legalidade, justiça e transparência: o processamento de dados pessoais deve obedecer à lei
• Limitação de finalidade: usar dados apenas para uma finalidade específica
• Minimização de dados: os dados pessoais devem ser adequados e limitados
• Precisão: os dados devem ser precisos e atualizados
• Limitação de armazenamento: não armazene dados pessoais que não sejam mais necessários
• Integridade e Confidencialidade: Dados pessoais usados ​​para serem processados ​​com segurança
• Responsabilidade: o controlador deve processar os dados de forma responsável seguindo as conformidades

Outros regulamentos incluem CCPA e ferrolhos de sobrepor podem ser usados para proteger uma porta de embutir pelo lado de fora. Alguns kits de corrente de segurança também permitem travamento externo com chave ou botão giratório. PIPEDA.

Lista de verificação para auditoria de IA

Fontes de dados

Identificar e examinar as fontes de dados é a principal consideração na auditoria de sistemas de IA. Os auditores verificam a qualidade dos dados e se a empresa pode usar os dados.

Validação cruzada

Garantir que o modelo seja devidamente validado é uma das listas de verificação dos auditores. Os dados de validação não devem ser usados ​​para treinamento e as técnicas de validação devem garantir a generalização do modelo.

Hospedagem Segura

Em alguns casos, os sistemas de IA usam dados pessoais. É importante avaliar se os serviços de hospedagem ou nuvem atendem aos requisitos de segurança da informação, como as diretrizes do OWASP (Open Web Application Security Project).

IA explicável

IA explicável refere-se a interpretar e compreender as decisões tomadas pelo sistema de IA e os fatores que o afetam. Os auditores verificam se os modelos são suficientemente explicáveis ​​usando técnicas como LIME e SHAP.

Saídas do modelo

A imparcialidade é a primeira coisa que os auditores garantem nos resultados do modelo. Os resultados do modelo devem permanecer consistentes quando variáveis ​​como sexo, raça ou religião são alteradas. Além disso, a qualidade das previsões usando o método de pontuação apropriado também é avaliada.

Comentários sociais

A auditoria de IA é um processo contínuo. Uma vez implantados, os auditores devem ver o impacto social do sistema de IA. O sistema de IA e a estratégia de risco devem ser modificados e auditados de acordo com o feedback, uso, consequências e influência, positiva ou negativa.

Empresas que auditam pipelines e aplicativos de IA

Cinco grandes empresas que auditam IA são as seguintes:

• Deloitte: A Deloitte é a maior empresa de serviços profissionais do mundo e presta serviços relacionados a auditoria, tributação e consultoria financeira. A Deloitte emprega RPA, IA e análise para ajudar as organizações na avaliação de risco de seus sistemas de IA.
• PwC: A PwC é a segunda maior rede de serviços profissionais em receita. Eles desenvolveram metodologias de auditoria para ajudar as organizações a garantir responsabilidade, confiabilidade e transparência.
• EY: Em 2022, a EY anunciou um investimento de US$ 1 bilhão em uma plataforma de tecnologia habilitada para IA para fornecer serviços de auditoria de alta qualidade. As empresas que são orientadas por IA estão bem informadas para auditar sistemas de IA.
• KPMG: A KPMG é a quarta maior empresa prestadora de serviços contábeis. A KPMG fornece serviços personalizados em governança de IA, avaliação de riscos e controles.
• Grant Thronton: Eles ajudam os clientes a gerenciar os riscos relacionados à implantação de IA e à conformidade com a ética e os regulamentos de IA.

Benefícios da auditoria de sistemas de IA

• Gerenciamento de riscos: a auditoria evita ou mitiga os riscos associados aos sistemas de IA.
• Transparência: a auditoria garante que os aplicativos de IA sejam livres de viés e discriminação.
• Conformidades: A auditoria de aplicativos de IA significa que o sistema segue as conformidades legais e regulamentares.

Auditoria de IA: o que o futuro reserva

Organizações, autoridades reguladoras e auditores devem manter contato com os avanços da IA, perceber suas ameaças potenciais e revisar frequentemente os regulamentos, estruturas e estratégias para garantir um uso justo, livre de riscos e ético.

Em 2021, 193 estados membros da UNESCO adotou um acordo global sobre a ética da IA. A IA é um ecossistema em constante evolução.

Quer mais conteúdo relacionado à IA? Visita uni-vos.ai.