O que é IA Explicável?

À medida que a inteligência artificial (IA) se torna mais complexa e amplamente adotada em toda a sociedade, um dos conjuntos mais críticos de processos e métodos é explicável (IA), às vezes referido como XAI. 

A IA explicável pode ser definida como:

• Um conjunto de processos e métodos que ajudam os usuários humanos a compreender e confiar nos resultados dos algoritmos de aprendizado de máquina. 

Como você pode imaginar, essa explicabilidade é extremamente importante, pois os algoritmos de IA assumem o controle de muitos setores, o que acarreta o risco de viés, algoritmos defeituosos e outros problemas. Ao alcançar a transparência com explicabilidade, o mundo pode realmente alavancar o poder da IA. 

A IA explicável, como o nome sugere, ajuda a descrever um modelo de IA, seu impacto e possíveis vieses. Ele também desempenha um papel na caracterização da precisão, justiça, transparência e resultados do modelo em processos de tomada de decisão baseados em IA. 

As organizações orientadas por IA de hoje devem sempre adotar processos de IA explicáveis ​​para ajudar a criar confiança nos modelos de IA em produção. A IA explicável também é fundamental para se tornar uma empresa responsável no ambiente de IA atual.

Como os sistemas de IA de hoje são tão avançados, os humanos geralmente realizam um processo de cálculo para refazer como o algoritmo chegou a seu resultado. Esse processo se torna uma “caixa preta”, o que significa que é impossível de entender. Quando esses modelos inexplicáveis ​​são desenvolvidos diretamente a partir de dados, ninguém consegue entender o que está acontecendo dentro deles. 

Ao entender como os sistemas de IA operam por meio de IA explicável, os desenvolvedores podem garantir que o sistema funcione como deveria. Também pode ajudar a garantir que o modelo atenda aos padrões regulamentares e oferece a oportunidade para que o modelo seja contestado ou alterado. 

Imagem: Dr. Matt Turek/DARPA

Diferenças entre AI e XAI

Algumas diferenças importantes ajudam a separar a IA “regular” da IA ​​explicável, mas o mais importante é que a XAI implementa técnicas e métodos específicos que ajudam a garantir que cada decisão no processo de ML seja rastreável e explicável. Em comparação, a AI regular geralmente chega ao seu resultado usando um algoritmo de ML, mas é impossível entender completamente como o algoritmo chegou ao resultado. No caso de IA regular, é extremamente difícil verificar a precisão, resultando em perda de controle, responsabilidade e auditabilidade. 

Benefícios da IA ​​Explicável 

Há muitos benefícios para qualquer organização que queira adotar IA explicável, como: 

• Resultados mais rápidos: A IA explicável permite que as organizações monitorem e gerenciem modelos sistematicamente para otimizar os resultados de negócios. É possível avaliar e melhorar continuamente o desempenho do modelo e ajustar o desenvolvimento do modelo.
  
• Mitigar riscos: Ao adotar processos de IA explicáveis, você garante que seus modelos de IA sejam explicáveis ​​e transparentes. Você pode gerenciar requisitos regulatórios, de conformidade, riscos e outros, minimizando a sobrecarga da inspeção manual. Tudo isso também ajuda a mitigar o risco de viés não intencional. 
• Ganhar confiança: A IA explicável ajuda a estabelecer confiança na IA de produção. Os modelos de IA podem ser rapidamente colocados em produção, você pode garantir a interpretabilidade e a explicabilidade, e o processo de avaliação do modelo pode ser simplificado e tornado mais transparente. 

Técnicas para IA Explicável

Existem algumas técnicas XAI que todas as organizações devem considerar e consistem em três métodos principais: precisão da previsão, rastreabilidade e compreensão da decisão. 

O primeiro dos três métodos, precisão da previsão, é essencial para usar com sucesso a IA nas operações diárias. As simulações podem ser realizadas e a saída do XAI pode ser comparada aos resultados no conjunto de dados de treinamento, o que ajuda a determinar a precisão da previsão. Uma das técnicas mais populares para conseguir isso é chamada de Explicações agnósticas de modelo interpretável local (LIME), uma técnica que explica a previsão de classificadores pelo algoritmo de aprendizado de máquina. 

O segundo método é rastreabilidade, o que é alcançado limitando como as decisões podem ser tomadas, bem como estabelecendo um escopo mais restrito para regras e recursos de aprendizado de máquina. Uma das técnicas de rastreabilidade mais comuns é o DeepLIFT, ou Deep Learning Important FeaTures. O DeepLIFT compara a ativação de cada neurônio com seu neurônio de referência enquanto demonstra um link rastreável entre cada neurônio ativado. Também mostra as dependências entre eles. 

O terceiro e último método é compreensão da decisão, que é focado no ser humano, ao contrário dos outros dois métodos. A compreensão da decisão envolve educar a organização, especificamente a equipe que trabalha com a IA, para permitir que ela entenda como e por que a IA toma decisões. Este método é crucial para estabelecer a confiança no sistema. 

Princípios de IA explicáveis

Para fornecer uma melhor compreensão do XAI e seus princípios, o Instituto Nacional de Padrões (NIST), que faz parte do Departamento de Comércio dos EUA, fornece definições para quatro princípios de IA explicáveis: 

1. Um sistema de IA deve fornecer evidências, suporte ou raciocínio para cada saída. 
2. Um sistema de IA deve fornecer explicações que possam ser compreendidas por seus usuários. 
3. A explicação deve refletir com precisão o processo usado pelo sistema para chegar a sua saída. 
4. O sistema de IA deve operar apenas nas condições para as quais foi projetado e não deve fornecer saída quando não tiver confiança suficiente no resultado. 

Esses princípios podem ser organizados ainda mais em: 

• Significativo: Para alcançar o princípio de significância, um usuário deve entender a explicação fornecida. Isso também pode significar que, no caso de um algoritmo de IA ser usado por diferentes tipos de usuários, pode haver várias explicações. Por exemplo, no caso de um carro autônomo, uma explicação pode ser algo como... “a IA categorizou a sacola plástica na estrada como uma pedra e, portanto, agiu para evitar bater nela”. Embora esse exemplo funcione para o driver, não seria muito útil para um desenvolvedor de IA que procura corrigir o problema. Nesse caso, o desenvolvedor deve entender por que houve uma classificação incorreta. 
• Precisão da explicação: Ao contrário da precisão de saída, a precisão de explicação envolve o algoritmo AI explicando com precisão como ele alcançou sua saída. Por exemplo, se um algoritmo de aprovação de empréstimo explicar uma decisão com base na renda de um aplicativo quando, na verdade, foi baseada no local de residência do solicitante, a explicação seria imprecisa. 
• Limites de conhecimento: Os limites de conhecimento da IA ​​podem ser alcançados de duas maneiras e envolvem a entrada fora da experiência do sistema. Por exemplo, se um sistema é construído para classificar espécies de pássaros e recebe a foto de uma maçã, ele deve ser capaz de explicar que a entrada não é um pássaro. Se o sistema receber uma imagem borrada, ele deve ser capaz de relatar que não consegue identificar a ave na imagem ou, alternativamente, que sua identificação tem uma confiança muito baixa. 

O papel dos dados na IA explicável

Um dos componentes mais importantes da IA ​​explicável são os dados. 

De acordo com o Google, em relação a dados e IA explicável, “um sistema de IA é melhor compreendido pelos dados de treinamento subjacentes e pelo processo de treinamento, bem como pelo modelo de IA resultante”. Esse entendimento depende da capacidade de mapear um modelo de IA treinado para o conjunto de dados exato usado para treiná-lo, bem como da capacidade de examinar os dados de perto. 

Para aprimorar a explicabilidade de um modelo, é importante prestar atenção aos dados de treinamento. As equipes devem determinar a origem dos dados usados ​​para treinar um algoritmo, a legalidade e a ética em torno de sua obtenção, qualquer possível viés nos dados e o que pode ser feito para mitigar qualquer viés. 

Outro aspecto crítico dos dados e do XAI é que os dados irrelevantes para o sistema devem ser excluídos. Para conseguir isso, os dados irrelevantes não devem ser incluídos no conjunto de treinamento ou nos dados de entrada. 

O Google recomendou um conjunto de práticas para obter interpretabilidade e responsabilidade: 

• Planeje suas opções para buscar a interpretabilidade
• Trate a interpretabilidade como uma parte essencial da experiência do usuário
• Projetar o modelo para ser interpretável
• Escolha métricas para refletir o objetivo final e a tarefa final
• Entenda o modelo treinado
• Comunicar explicações aos usuários do modelo
• Realize muitos testes para garantir que o sistema de IA esteja funcionando conforme o esperado 

Ao seguir essas práticas recomendadas, sua organização pode garantir que alcançará uma IA explicável, que é a chave para qualquer organização orientada por IA no ambiente atual.