Priorizando a Confiança na IA

A dependência da sociedade em aplicações de inteligência artificial (IA) e aprendizado de máquina (ML) continua a crescer, redefinindo como as informações são consumidas. Desde chatbots alimentados por IA até sínteses de informações produzidas por Modelos de Linguagem Grande (LLMs), a sociedade tem acesso a mais informações e insights mais profundos do que nunca. No entanto, à medida que as empresas de tecnologia correm para implementar a IA em toda a sua cadeia de valor, uma pergunta crítica paira. Podemos realmente confiar nos resultados das soluções de IA?

Podemos realmente confiar nos resultados da IA sem quantificação de incerteza

Para uma entrada determinada, um modelo pode ter gerado muitas outras saídas igualmente plausíveis. Isso pode ser devido a dados de treinamento insuficientes, variações nos dados de treinamento ou outras causas. Ao implantar modelos, as organizações podem utilizar quantificação de incerteza para fornecer aos seus usuários finais uma compreensão mais clara de quanto devem confiar na saída de um modelo de IA/ML. A quantificação de incerteza é o processo de estimar quais seriam essas outras saídas.
Imagine um modelo que prevê a temperatura máxima de amanhã. O modelo pode gerar a saída 21ºC, mas a quantificação de incerteza aplicada a essa saída pode indicar que o modelo também poderia ter gerado as saídas 12 ºC, 15 ºC ou 16 ºC; sabendo disso, quanto confiamos agora na previsão simples de 20 ºC? Apesar de seu potencial para engendrar confiança ou aconselhar cautela, muitas organizações estão escolhendo omitir a quantificação de incerteza devido ao trabalho adicional que precisam fazer para implementá-la, bem como devido às suas demandas por recursos de computação e velocidade de inferência.
Sistemas humanos no loop, como sistemas de diagnóstico e prognóstico médico, envolvem humanos como parte do processo de tomada de decisão. Ao confiar cegamente nos dados das soluções de IA/ML de saúde, os profissionais de saúde correm o risco de diagnosticar incorretamente um paciente, potencialmente levando a resultados de saúde subpar — ou pior. A quantificação de incerteza pode permitir que os profissionais de saúde vejam, quantitativamente, quando podem confiar mais nos resultados da IA e quando devem tratar previsões específicas com cautela. Da mesma forma, em um sistema totalmente automatizado, como um carro autônomo, a saída de um modelo para estimar a distância de um obstáculo pode levar a um acidente que poderia ter sido evitado com a presença de quantificação de incerteza na estimativa de distância.

O desafio de aproveitar métodos de Monte Carlo para construir confiança em modelos de IA/ML

Métodos de Monte Carlo, desenvolvidos durante o Projeto Manhattan, são uma forma robusta de realizar quantificação de incerteza. Eles envolvem a reexecução de algoritmos repetidamente com entradas ligeiramente diferentes até que as iterações adicionais não forneçam muita mais informação nas saídas; quando o processo atinge esse estado, diz-se que ele convergiu. Uma desvantagem dos métodos de Monte Carlo é que eles são normalmente lentos e intensivos em computação, exigindo muitas repetições de seus cálculos constituintes para obter uma saída convergida e ter uma variabilidade inerente nessas saídas. Como os métodos de Monte Carlo usam as saídas de geradores de números aleatórios como um de seus principais blocos de construção, mesmo quando você executa um Monte Carlo com muitas repetições internas, os resultados que você obtém mudarão quando você repetir o processo com parâmetros idênticos.

O caminho para a confiabilidade em modelos de IA/ML

Ao contrário dos servidores tradicionais e aceleradores específicos de IA, uma nova geração de plataformas de computação está sendo desenvolvida para processar diretamente distribuições de probabilidade empírica da mesma forma que as plataformas de computação tradicionais processam inteiros e valores de ponto flutuante. Ao implantar seus modelos de IA nesses plataformas, as organizações podem automatizar a implementação da quantificação de incerteza em seus modelos pré-treinados e também acelerar outros tipos de tarefas de computação que tradicionalmente usaram métodos de Monte Carlo, como cálculos de VaR em finanças. Em particular, para o cenário de VaR, essa nova geração de plataformas permite que as organizações trabalhem com distribuições empíricas construídas diretamente a partir de dados de mercado reais, em vez de aproximar essas distribuições com amostras geradas por geradores de números aleatórios, para análises mais precisas e resultados mais rápidos.
Avanços recentes em computação reduziram significativamente as barreiras para a quantificação de incerteza. Um artigo de pesquisa recente publicado por meus colegas e eu, no Workshop de Aprendizado de Máquina com Novos Paradigmas de Computação no NeurIPS 2024, destaca como uma plataforma de computação de próxima geração que desenvolvemos permitiu que a análise de quantificação de incerteza fosse executada mais de 100 vezes mais rápido em comparação com a execução de análises baseadas em Monte Carlo tradicionais em um servidor de alta gama baseado em Intel-Xeon. Avanços como esses permitem que as organizações que implantam soluções de IA implementem a quantificação de incerteza com facilidade e executem essa quantificação de incerteza com baixa sobrecarga.

O futuro da confiabilidade da IA/ML depende da computação de próxima geração avançada

À medida que as organizações integram mais soluções de IA na sociedade, a confiabilidade na IA/ML se tornará uma prioridade máxima. As empresas não podem mais se dar ao luxo de omitir a implementação de facilidades em seus modelos de IA para permitir que os consumidores saibam quando tratar saídas específicas de modelos de IA com ceticismo. A demanda por essa capacidade de explicação e quantificação de incerteza é clara, com aproximadamente três em quatro pessoas indicando que estariam mais dispostas a confiar em um sistema de IA se mecanismos de garantia apropriados estivessem em vigor.
Novas tecnologias de computação estão tornando cada vez mais fácil implementar e implantar a quantificação de incerteza. Embora a indústria e os órgãos reguladores lidem com outros desafios associados à implantação da IA na sociedade, há pelo menos a oportunidade de engendrar a confiança que os humanos necessitam, tornando a quantificação de incerteza a norma nas implantações de IA.