O que é Inteligência Artificial Explicável?

À medida que a inteligência artificial (IA) se torna mais complexa e amplamente adotada em toda a sociedade, um dos conjuntos mais críticos de processos e métodos é a inteligência artificial explicável (IA), às vezes referida como XAI.

A inteligência artificial explicável pode ser definida como:

• Um conjunto de processos e métodos que ajudam os usuários humanos a compreender e confiar nos resultados dos algoritmos de aprendizado de máquina.

Como você pode imaginar, essa explicabilidade é incrivelmente importante, pois os algoritmos de IA assumem o controle de muitos setores, o que vem com o risco de viés, algoritmos defeituosos e outros problemas. Ao alcançar a transparência com a explicabilidade, o mundo pode truly aproveitar o poder da IA.

A inteligência artificial explicável, como o nome sugere, ajuda a descrever um modelo de IA, seu impacto e possíveis viés. Ela também desempenha um papel na caracterização da precisão do modelo, equidade, transparência e resultados nos processos de tomada de decisão impulsionados por IA.

As organizações impulsionadas por IA de hoje devem sempre adotar processos de inteligência artificial explicável para ajudar a construir confiança e confiabilidade nos modelos de IA em produção. A inteligência artificial explicável também é fundamental para se tornar uma empresa responsável no ambiente de IA de hoje.

Porque os sistemas de IA de hoje são tão avançados, os humanos geralmente realizam um processo de cálculo para retraçar como o algoritmo chegou ao seu resultado. Esse processo se torna uma “caixa preta”, significando que é impossível entender. Quando esses modelos inexplicáveis são desenvolvidos diretamente a partir de dados, ninguém pode entender o que está acontecendo dentro deles.

Ao entender como os sistemas de IA operam por meio da inteligência artificial explicável, os desenvolvedores podem garantir que o sistema funcione como deve. Isso também pode ajudar a garantir que o modelo atenda aos padrões regulamentares e forneça a oportunidade para o modelo ser desafiado ou alterado.

Imagem: Dr. Matt Turek/DARPA

Diferenças entre IA e XAI

Algumas diferenças importantes ajudam a separar a “IA regular” da inteligência artificial explicável, mas o mais importante é que a XAI implementa técnicas e métodos específicos que ajudam a garantir que cada decisão no processo de ML seja rastreável e explicável. Em comparação, a IA regular geralmente chega a seu resultado usando um algoritmo de ML, mas é impossível entender completamente como o algoritmo chegou ao resultado. No caso da IA regular, é extremamente difícil verificar a precisão, resultando na perda de controle, responsabilidade e auditoria.

Benefícios da Inteligência Artificial Explicável

Existem muitos benefícios para qualquer organização que deseje adotar a inteligência artificial explicável, como:

• Resultados mais rápidos: A inteligência artificial explicável permite que as organizações monitorem e gerenciem modelos de forma sistemática para otimizar os resultados comerciais. É possível avaliar e melhorar continuamente o desempenho do modelo e ajustar o desenvolvimento do modelo.
• Mitigar riscos: Ao adotar processos de inteligência artificial explicável, você garante que seus modelos de IA sejam explicáveis e transparentes. Você pode gerenciar riscos regulamentares, de conformidade e outros requisitos, minimizando a sobrecarga da inspeção manual. Tudo isso também ajuda a mitigar o risco de viés involuntário. 
• Construir confiança: A inteligência artificial explicável ajuda a estabelecer confiança na IA em produção. Os modelos de IA podem ser rapidamente colocados em produção, você pode garantir a interpretabilidade e a explicabilidade, e o processo de avaliação do modelo pode ser simplificado e tornado mais transparente.

Técnicas para Inteligência Artificial Explicável

Existem algumas técnicas de XAI que todas as organizações devem considerar, e elas consistem em três métodos principais: precisão da previsão, rastreabilidade e compreensão da decisão.

O primeiro dos três métodos, precisão da previsão, é essencial para usar a IA com sucesso em operações diárias. Simulações podem ser realizadas e a saída da XAI pode ser comparada aos resultados no conjunto de dados de treinamento, o que ajuda a determinar a precisão da previsão. Uma das técnicas mais populares para alcançar isso é chamada de Explicações Locais Interpretáveis de Modelo-Agnóstico (LIME), uma técnica que explica a previsão de classificadores pelo algoritmo de aprendizado de máquina.

O segundo método é rastreabilidade, que é alcançada limitando como as decisões podem ser tomadas, bem como estabelecendo um escopo mais estreito para regras e recursos de aprendizado de máquina. Uma das técnicas de rastreabilidade mais comuns é DeepLIFT, ou Recursos Importantes de Aprendizado de Máquina Profundo. O DeepLIFT compara a ativação de cada neurônio com seu neurônio de referência, demonstrando um link rastreável entre cada neurônio ativado. Ele também mostra as dependências entre eles.

O terceiro e último método é compreensão da decisão, que é focada no ser humano, ao contrário dos outros dois métodos. A compreensão da decisão envolve educar a organização, especificamente a equipe que trabalha com a IA, para permitir que eles entendam como e por que a IA toma decisões. Esse método é crucial para estabelecer confiança no sistema.

Princípios de Inteligência Artificial Explicável

Para fornecer uma melhor compreensão da XAI e seus princípios, o Instituto Nacional de Padrões (NIST), que faz parte do Departamento de Comércio dos EUA, fornece definições para quatro princípios de inteligência artificial explicável:

1. Um sistema de IA deve fornecer evidências, suporte ou razão para cada saída. 
2. Um sistema de IA deve fornecer explicações que possam ser entendidas por seus usuários. 
3. A explicação deve refletir com precisão o processo usado pelo sistema para chegar à sua saída. 
4. O sistema de IA deve operar apenas sob as condições para as quais foi projetado e não deve fornecer saída quando não tiver confiança suficiente no resultado.

Esses princípios podem ser organizados ainda mais em:

• Significativo: Para alcançar o princípio de significado, um usuário deve entender a explicação fornecida. Isso também pode significar que, no caso de um algoritmo de IA sendo usado por diferentes tipos de usuários, pode haver várias explicações. Por exemplo, no caso de um carro autônomo, uma explicação pode ser algo como…”a IA categorizou o saco plástico na estrada como uma rocha e, portanto, tomou medidas para evitar atingi-lo.” Embora esse exemplo funcione para o motorista, não seria muito útil para um desenvolvedor de IA que busca corrigir o problema. Nesse caso, o desenvolvedor deve entender por que houve uma classificação errada. 
• Exatidão da explicação: Ao contrário da precisão da saída, a exatidão da explicação envolve o algoritmo de IA explicar com precisão como chegou à sua saída. Por exemplo, se um algoritmo de aprovação de empréstimo explica uma decisão com base na renda de uma aplicação quando, na verdade, foi baseada no local de residência do aplicante, a explicação seria imprecisa. 
• Limites do conhecimento: Os limites do conhecimento do IA podem ser alcançados de duas maneiras, e envolve a entrada estar fora da expertise do sistema. Por exemplo, se um sistema for projetado para classificar espécies de pássaros e for dado uma imagem de uma maçã, ele deve ser capaz de explicar que a entrada não é um pássaro. Se o sistema for dado uma imagem borrada, ele deve ser capaz de relatar que não consegue identificar o pássaro na imagem, ou alternativamente, que sua identificação tem confiança muito baixa.

Papel dos Dados na Inteligência Artificial Explicável

Um dos componentes mais importantes da inteligência artificial explicável é o dado.

De acordo com Google, em relação aos dados e à inteligência artificial explicável, “um sistema de IA é melhor entendido pelos dados subjacentes de treinamento e pelo processo de treinamento, bem como pelo modelo de IA resultante.” Essa compreensão depende da capacidade de mapear um modelo de IA treinado para o conjunto de dados exato usado para treiná-lo, bem como a capacidade de examinar os dados de perto.

Para melhorar a explicabilidade de um modelo, é importante prestar atenção aos dados de treinamento. As equipes devem determinar a origem dos dados usados para treinar um algoritmo, a legalidade e a ética que cercam sua obtenção, qualquer viés potencial nos dados e o que pode ser feito para mitigar qualquer viés.

Outro aspecto crítico dos dados e da XAI é que os dados irrelevantes para o sistema devem ser excluídos. Para alcançar isso, os dados irrelevantes não devem ser incluídos no conjunto de treinamento ou nos dados de entrada.

O Google recomendou um conjunto de práticas para alcançar a interpretabilidade e a responsabilidade:

• Planeje suas opções para perseguir a interpretabilidade
• Trate a interpretabilidade como uma parte fundamental da experiência do usuário
• Projete o modelo para ser interpretável
• Escolha métricas que reflitam o objetivo final e a tarefa final
• Entenda o modelo treinado
• Comunique explicações para os usuários do modelo
• Realize muitos testes para garantir que o sistema de IA esteja funcionando como pretendido

Ao seguir essas práticas recomendadas, sua organização pode garantir que alcance a inteligência artificial explicável, que é fundamental para qualquer organização impulsionada por IA no ambiente de hoje.