Andrew Pery, Evangelista de Ética, ABBYY – Série de Entrevistas

Andrew Pery é o Evangelista de Ética da ABBYY, uma empresa de inteligência digital. Eles capacitam as organizações a acessar insights valiosos, mas frequentemente difíceis de obter, sobre suas operações, o que permite uma transformação empresarial real.

A ABBYY lançou recentemente uma Iniciativa Global para Promover o Desenvolvimento de Inteligência Artificial Confiável. Decidimos perguntar a Andrew sobre ética em IA, abusos de IA e o que a indústria de IA pode fazer sobre essas preocupações em frente.

O que inicialmente despertou seu interesse em ética de IA?

O que inicialmente despertou meu interesse em ética de IA foi um profundo interesse na interseção da lei e da tecnologia de IA. Comecei minha carreira no sistema de justiça criminal, representando réus indigentes que não tinham meios financeiros para pagar serviços legais. Em seguida, mudei para a tecnologia, me concentrando na aplicação de busca avançada e IA na prática da lei. Como profissional certificado em privacidade de dados, sou especialmente apaixonado por lei de privacidade e pelo uso adequado da tecnologia de IA que alinha e melhora os direitos de privacidade.

A tecnologia de reconhecimento facial é frequentemente abusada por fontes de autoridade, incluindo o governo dos EUA. Quão grande deve ser essa preocupação social?

As implicações da tecnologia de reconhecimento facial devem ser uma preocupação social significativa, pois essa tecnologia pode impactar muitos direitos fundamentais, incluindo direitos econômicos, sociais e de segurança.

Há evidências claras e convincentes de que os algoritmos de reconhecimento facial são pouco confiáveis. Um estudo do NIST sobre algoritmos de reconhecimento facial encontrou que afro-americanos eram até 100 vezes mais propensos a serem mal identificados. Um estudo semelhante da Faculdade de Direito de Georgetown encontrou que os algoritmos de reconhecimento facial baseados em fotografias de identificação produziram uma alta porcentagem de falsos positivos associados a indivíduos afro-americanos, e um estudo de 2018 do MIT sobre o software de Reconhecimento Facial da Amazon (AMZN ) encontrou que, enquanto homens brancos eram identificados com precisão 99% do tempo, indivíduos de pele escura geravam até 35% de falsos positivos.

É por esses motivos que os reguladores estão começando a tomar medidas para proibir o uso de tecnologias de reconhecimento facial, particularmente no contexto de vigilância e perfiling. Por exemplo, o Senado da Califórnia aprovou uma proibição estadual ao uso de tecnologia de reconhecimento facial e outros métodos de vigilância biométrica.

Há também um movimento dentro da comunidade tecnológica para se afastar do marketing de software de reconhecimento facial. A IBM anunciou que parará de vender software de reconhecimento facial, citando que isso viola direitos humanos básicos e liberdades. A Microsoft (MSFT ) também anunciou uma decisão semelhante de interromper a venda de sua tecnologia de reconhecimento facial, citando direitos humanos fundamentais.

O software COMPAS, que foi usado por tribunais dos EUA para avaliar o risco de reincidência, rotulou erroneamente minorias visíveis como mais propensas a reincidir do que réus brancos. Sabendo disso, deve-se considerar o uso de IA nos tribunais como uma opção?

Estudos do COMPAS encontraram que ele não é melhor do que as pessoas aleatórias para prever crimes. Embora a análise preditiva forneça valor significativo em um contexto comercial, foi comprovado que resulta em desigualdades em sua aplicação à justiça criminal. Isso é evidente em um relatório publicado pela Pro Publica, que encontrou que o COMPAS, o software mais popular usado por tribunais dos EUA para avaliar o risco de reincidência, rotulou erroneamente minorias visíveis como mais propensas a reincidir em duas vezes a taxa de réus brancos.

Essas desigualdades levaram o ex-procurador-geral Eric Holder a questionar a justiça e expressar preocupações sobre as desigualdades potenciais levantadas pela aplicação da tecnologia de IA para prever taxas de reincidência dentro da população de réus.

Como a sociedade pode evitar programar involuntariamente vieses negativos nos sistemas de IA?

Primeiramente, deve haver um reconhecimento de que a IA pode ter a propensão de produzir vieses involuntários, referidos como vieses inconscientes. Mitigar seu impacto adverso requer uma abordagem holística que consiste no desenvolvimento de diretrizes éticas de IA, como as propostas pela Estrutura Ética da OCDE. Isso é baseado em sete princípios fundamentais, incluindo agência humana e supervisão, robustez técnica e segurança, privacidade e governança, transparência, diversidade e não discriminação, bem-estar social e responsabilidade.

Em segundo lugar, a adesão a quadros legais que protegem contra perfiling automatizado é fundamental. Por exemplo, a UE tem uma longa história de respeito e proteção dos direitos de privacidade, com a mais recente e poderosa expressão sendo o Regulamento Geral de Proteção de Dados (GDPR), que protege especificamente contra tomada de decisão automatizada.

Terceiro, há necessidade de responsabilidade industrial pelo desenvolvimento e uso da tecnologia de IA. Há desenvolvimentos positivos aqui. Por exemplo, a Parceria sobre IA é uma organização com mais de 80 membros em 13 países dedicada à pesquisa e discussão sobre questões-chave de IA.

Por fim, as organizações de tecnologia devem manter um compromisso de realizar uma avaliação de impacto de viés antes do lançamento comercial de algoritmos de IA, particularmente quando suas aplicações impactam direitos de privacidade e segurança. As perguntas que os líderes tecnológicos devem considerar antes de lançar novas aplicações habilitadas para IA incluem: O conjunto de dados em que essa tecnologia foi treinada é suficientemente diverso? Como o viés será detectado? Como é testado e por quem? Quais são os incentivos dos desenvolvedores? Quem se beneficiará comercialmente disso?

É importante lembrar que as soluções de IA refletem os dados subjacentes com os quais essas aplicações são treinadas, então garantir que esses dados não sejam enviesados e reflitam adequadamente a diversidade dos constituintes que a solução servirá é crítico. Em palavras da pesquisadora de IA, Professora Joanna Bryson, “se os dados subjacentes refletem estereótipos, ou se você treina a IA a partir da cultura humana, você encontrará viés. E se não tivermos cuidado, corremos o risco de integrar esse viés nos programas de computador que estão rapidamente assumindo a gestão de tudo, desde hospitais até escolas e prisões – programas que deveriam eliminar esses vieses em primeiro lugar.”

A ABBYY recentemente lançou uma Iniciativa Global para Promover o Desenvolvimento de Inteligência Artificial Confiável. Quão importante é essa iniciativa para o futuro da ABBYY?

A decisão de desenvolver nossa iniciativa global para IA confiável é uma decisão importante impulsionada por nossa crença de que, como uma organização cujas tecnologias impactam empresas em todo o mundo e servem a dezenas de milhares de usuários individuais, temos a obrigação de sermos bons cidadãos corporativos com consciência social. Isso não apenas ajuda a gerar maior confiança de nossos clientes e parceiros globais, mas também ajuda a garantir que nossas tecnologias continuem a ter um impacto profundo de maneira que beneficie o bem comum.

Isso também faz sentido comercial para promover e apoiar o uso confiável de IA. Isso fortalece nosso valor de marca, gera confiança com nossa constituição de clientes e parceiros globais. A confiança se traduz em negócios repetidos e em crescimento sustentável.

Parte dessa iniciativa é a ABBYY se comprometendo a fomentar uma cultura que promova o uso ético de IA e sua utilidade social. O que precisa ser feito para que outras empresas fomentem uma cultura semelhante?

As empresas de tecnologia precisam construir um quadro para o uso ético de IA. O alcance desse compromisso depende das aplicações pretendidas dos algoritmos de IA. A melhor maneira de avaliar seu impacto é aplicar o princípio de não causar dano e ter um compromisso de cima para baixo com o uso confiável de IA.

É igualmente importante um compromisso com a transparência. Embora os direitos de propriedade intelectual devam ser equilibrados com o princípio de IA confiável, a importância da transparência e responsabilidade para o uso responsável de IA deve ser claramente articulada e comunicada em toda a organização.

Uma das iniciativas que a ABBYY se comprometeu a entregar é tecnologias de IA que sejam social e economicamente benéficas. Isso pode ser um equilíbrio difícil de alcançar. Como as empresas podem melhor implementar isso?

Os líderes podem alcançar esse equilíbrio considerando as recomendações oferecidas por Deloitte: projetar ética em IA começa com determinar o que importa para as partes interessadas, como clientes, funcionários, reguladores e o público em geral. As empresas devem estabelecer um comitê de governança e assessoria de IA de líderes cross-funcionais e assessores externos que engajem com grupos de trabalho de múltiplas partes interessadas e estabeleçam e supervisionem a governança de soluções habilitadas para IA, incluindo design, desenvolvimento, implantação e uso.

Como equilibramos nossos interesses comerciais e o bem social foi exemplificado recentemente durante a pandemia de Coronavírus. Fornecemos muitas de nossas tecnologias gratuitamente ou a taxas reduzidas para ajudar indivíduos e organizações a navegar pela crise, manter a continuidade dos negócios e apoiar seus clientes em circunstâncias imprevisíveis.

Também disponibilizamos recentemente nossos quadros de tecnologia por meio da NeoML, nossa biblioteca de aprendizado de máquina de código aberto cross-plataforma que permite que os desenvolvedores de software usem modelos comprovados e confiáveis para avançar a inovação em IA.

Poderia compartilhar suas visões sobre o uso de IA para aplicativos de COVID-19 para rastreamento de contatos e as necessidades de equilibrar o direito à privacidade?

Essa é uma questão particularmente complicada. Há aqueles que argumentam que a implementação de aplicativos de rastreamento móvel representa uma intrusão indesejada nos direitos de privacidade. Por outro lado, quando se trata de segurança pública, há sempre limites nos direitos em geral. É um equilíbrio entre direitos e responsabilidades. No entanto, os direitos não são absolutos. A contenção de uma pandemia global exige ação coordenada e aplicação de recursos e tecnologias que possam ser usadas de forma responsável para proteger a população em geral.

Esse equilíbrio entre direitos de privacidade individuais e o bem comum é reconhecido dentro de um quadro legal. Por exemplo, o GDPR identifica seis bases para processamento legítimo de informações de identificação pessoal, incluindo uma disposição de que, quando o processamento é indispensável para o interesse público, tal processamento de IIP é justificado sem obter o consentimento do titular dos dados.

Além disso, o Recital 46 do GDPR estipula diretamente que o processamento de IIP é justificado sem obter o consentimento do titular dos dados em emergências humanitárias, incluindo epidemias. No entanto, é importante notar que o Recital 46 constrói a aplicação da disposição de interesse público de forma muito estreita, observando que isso deve ocorrer apenas quando não pode ser baseado em outra base legal.

Além do equilíbrio entre direitos de privacidade e interesse público, é também incumbência do setor de tecnologia e dos formuladores de políticas implementar diretrizes éticas, transparentes e justas relacionadas ao uso de perfiling e compartilhamento de informações de saúde altamente sensíveis. Grandes empresas de tecnologia, incluindo Google (GOOGL ) e Facebook (META ), já começaram a iniciar esforços para rastrear os movimentos dos usuários para identificar como o vírus está se espalhando e avaliar a eficácia das medidas de distanciamento social.

Acredito que, desde que as informações sejam anonimizadas, seu uso tem utilidade social.

Há algo mais que você gostaria de compartilhar sobre a nova Iniciativa Global da ABBYY para Promover o Desenvolvimento de Inteligência Artificial Confiável?

As regulamentações tendem a ficar atrás da inovação tecnológica; portanto, as empresas precisam desempenhar um papel proativo na promoção da transparência e responsabilidade com as tecnologias de IA e como elas impactam direitos de privacidade e segurança. Nossa iniciativa reflete nosso compromisso com essa empreitada. Desde nossa fundação, criamos tecnologias inovadoras que preservam informações valiosas e as transformam em conhecimento ação.

Além disso, o uso ético de tecnologias de inteligência artificial não deve ser considerado apenas em uma base legal, mas também como uma obrigação moral e um imperativo comercial. Se suas soluções têm um alcance amplo e impactam funções críticas de negócios, deve ser um padrão da indústria ser transparente na aplicação de tecnologias de IA.

Obrigado por responder a essas perguntas importantes. Para visualizar os princípios orientadores e a abordagem da ABBYY para aderir e defender princípios de IA confiável, clique aqui. Qualquer pessoa que deseje saber mais sobre a ABBYY em geral pode visitar o site da ABBYY.