Juliette Powell & Art Kleiner, Autores de The AI Dilemma – Série de Entrevistas

O Dilema da IA é escrito por Juliette Powell e Art Kleiner.

Juliette Powell é uma autora, criadora de televisão com 9.000 programas ao vivo, e tecnóloga e socióloga. Ela também é comentarista da Bloomberg TV/ Business News Networks e palestrante em conferências organizadas pelo The Economist e pelo International Finance Corporation. Seu discurso no TED tem 130 mil visualizações no YouTube. Juliette identifica os padrões e práticas de líderes de negócios bem-sucedidos que apostam em IA ética e dados para vencer. Ela é professora da NYU’s ITP, onde leciona quatro cursos, incluindo Design Skills for Responsible Media, um curso baseado em seu livro.

Art Kleiner é um escritor, editor e futurista. Seus livros incluem A Era dos Hereges, Quem Realmente Importa, Privilegio e Sucesso e O Sábio. Ele foi editor da strategy+business, a revista premiada publicada pela PwC. Art também é um membro de longa data da faculdade da NYU-ITP e IMA, onde seus cursos incluem co-lecionar Tecnologia Responsável e o Futuro da Mídia.

“O Dilema da IA” é um livro que se concentra nos perigos da tecnologia de IA nas mãos erradas, enquanto ainda reconhece os benefícios que a IA oferece à sociedade.

Os problemas surgem porque a tecnologia subjacente é tão complexa que se torna impossível para o usuário final entender verdadeiramente o funcionamento interno de um sistema de caixa fechada.

Um dos problemas mais significativos destacados é como a definição de IA responsável está sempre mudando, pois os valores sociais muitas vezes não permanecem consistentes ao longo do tempo.

Eu gostei muito de ler “O Dilema da IA”. É um livro que não sensacionaliza os perigos da IA ou mergulha profundamente nos possíveis armadilhas da Inteligência Artificial Geral (IAG). Em vez disso, os leitores aprendem sobre as maneiras surpreendentes pelas quais nossos dados pessoais são usados sem nosso conhecimento, bem como algumas das limitações atuais da IA e motivos de preocupação.

Abaixo estão algumas perguntas projetadas para mostrar aos nossos leitores o que eles podem esperar deste livro inovador.

O que inicialmente o inspirou a escrever “O Dilema da IA”?

Juliette foi para a Columbia em parte para estudar os limites e possibilidades da regulação da IA. Ela havia ouvido de amigos que trabalhavam em projetos de IA sobre a tensão inerente a esses projetos. Ela chegou à conclusão de que havia um dilema da IA, um problema muito maior do que a auto-regulação. Ela desenvolveu o modelo de benchmark Apex – um modelo de como as decisões sobre a IA tendiam a uma baixa responsabilidade devido às interações entre empresas e grupos dentro das empresas. Isso levou ao seu doutorado.

Art havia trabalhado com Juliette em vários projetos de escrita. Ele leu a tese de Juliette e disse: “Você tem um livro aqui.” Juliette o convidou para coautorá-lo. Ao trabalhar juntos, eles descobriram que tinham perspectivas muito diferentes, mas compartilhavam uma visão forte de que esse fenômeno complexo e de alto risco precisaria ser melhor compreendido para que as pessoas que o usassem pudessem agir de forma mais responsável e eficaz.

Um dos problemas fundamentais destacados em O Dilema da IA é que atualmente é impossível entender se um sistema de IA é responsável ou se perpetua a desigualdade social apenas estudando seu código-fonte. Qual é o tamanho desse problema?

O problema não é primariamente com o código-fonte. Como Cathy O’Neil observa, quando há um sistema de caixa fechada, não é apenas o código. É o sistema sociotécnico – as forças humanas e tecnológicas que se moldam umas às outras – que precisa ser explorado. A lógica que construiu e liberou o sistema de IA envolveu identificar um propósito, identificar dados, definir prioridades, criar modelos, estabelecer diretrizes e guardiões para o aprendizado de máquina e decidir quando e como um humano deveria intervir. É essa parte que precisa ser tornada transparente – pelo menos para observadores e auditores. O risco de desigualdade social e outros riscos são muito maiores quando essas partes do processo são ocultas. Você não pode realmente reengenharia a lógica de design a partir do código-fonte.

É possível que o foco em IA Explicável (XAI) possa resolver esse problema?

Para os engenheiros, a IA explicável é atualmente considerada um grupo de restrições tecnológicas e práticas, visando tornar os modelos mais transparentes para as pessoas que trabalham neles. Para alguém que é falsamente acusado, a explicabilidade tem um significado e urgência completamente diferentes. Eles precisam de explicabilidade para poderem se defender. Todos precisamos de explicabilidade no sentido de tornar as decisões de negócios ou governamentais subjacentes aos modelos claras. Pelo menos nos Estados Unidos, sempre haverá uma tensão entre explicabilidade – o direito humano de saber – e o direito de uma organização de competir e inovar. Auditores e reguladores precisam de um nível diferente de explicabilidade. Entramos em mais detalhes sobre isso em O Dilema da IA.

Pode compartilhar suas visões sobre a importância de responsabilizar as partes interessadas (empresas de IA) pelo código que elas liberam no mundo?

Até agora, por exemplo, no caso do acidente de carro autônomo em Tempe, AZ, que matou um pedestre, o operador foi responsabilizado. Um indivíduo foi para a prisão. No entanto, em última análise, foi uma falha organizacional.

Quando uma ponte desaba, o engenheiro mecânico é responsabilizado. Isso ocorre porque os engenheiros mecânicos são treinados, continuamente re-treinados e responsabilizados por sua profissão. Os engenheiros de computador não.

As partes interessadas, incluindo as empresas de IA, deveriam ser treinadas e re-treinadas para tomar melhores decisões e ter mais responsabilidade?

O Dilema da IA se concentra muito em como as empresas como o Google (GOOGL ) e o Meta podem coletar e monetizar nossos dados pessoais. Pode compartilhar um exemplo de mau uso significativo de nossos dados que deveria estar no radar de todos?

Do O Dilema da IA, página 67 e seguintes:

Novos casos de mau uso sistemático de dados pessoais continuam a surgir em público, muitos envolvendo o uso oculto de reconhecimento facial. Em dezembro de 2022, a MIT Technology Review publicou relatos de uma prática de longa data da iRobot. Os robôs de limpeza Roomba gravam imagens e vídeos em casas de beta-testadores, o que inevitavelmente significa coletar imagens e informações pessoais e familiares íntimas. Essas são compartilhadas, sem o conhecimento dos testadores, com grupos fora do país. Em pelo menos um caso, uma imagem de uma pessoa no banheiro foi postada no Facebook (META ). Enquanto isso, no Irã, as autoridades começaram a usar dados de sistemas de reconhecimento facial para rastrear e prender mulheres que não usam hijab.16

Não há necessidade de alongar essas histórias. Há tantas delas. É importante, no entanto, identificar o efeito cumulativo de viver dessa maneira. Perdemos nosso senso de controle sobre nossas vidas quando sentimos que nossas informações privadas podem ser usadas contra nós a qualquer momento, sem aviso.

Um conceito perigoso que foi trazido à tona é como o nosso mundo inteiro é projetado para ser sem atrito, com a definição de atrito sendo “qualquer ponto na jornada do cliente com uma empresa onde ele atinge um obstáculo que o desacelera ou causa insatisfação.” Como a nossa expectativa de uma experiência sem atrito pode levar a IA perigosa?

Na Nova Zelândia, um robô de refeições Pak’n’Save sugeriu uma receita que criaria gás clorino se usada. Isso foi promovido como uma maneira para os clientes usarem os restos e economizassem dinheiro.

A falta de atrito cria uma ilusão de controle. É mais rápido e fácil ouvir o aplicativo do que procurar a receita da vovó. As pessoas seguem o caminho de menor resistência e não percebem para onde ele as leva.

O atrito, por outro lado, é criativo. Você se envolve. Isso leva ao controle real. O controle real exige atenção e trabalho, e – no caso da IA – fazer uma análise de custo-benefício estendida.

Com a ilusão de controle, parece que vivemos em um mundo onde os sistemas de IA estão promovendo os humanos, em vez de os humanos permanecerem totalmente no controle. Quais são alguns exemplos que você pode dar de humanos coletivamente acreditando que têm controle, quando na verdade não têm?

Em São Francisco, agora, com os táxis autônomos. A ideia de táxis autônomos tende a evocar duas emoções conflitantes: excitação (“táxis a um custo muito menor!”) e medo (“vão me atropelar?”) Portanto, muitos reguladores sugerem que os carros sejam testados com pessoas dentro deles, que possam gerenciar os controles. Infelizmente, ter humanos em alerta, prontos para substituir os sistemas em tempo real, pode não ser um bom teste de segurança pública. A superconfiança é uma dinâmica frequente com os sistemas de IA. Quanto mais autônomo o sistema, mais os operadores humanos tendem a confiar nele e não prestar atenção total. Ficamos entediados observando essas tecnologias. Quando um acidente está prestes a acontecer, não o esperamos e muitas vezes não reagimos a tempo.

Muito pesquisa foi feita para este livro, houve algo que o surpreendeu?

Uma coisa que realmente nos surpreendeu foi que as pessoas em todo o mundo não puderam concordar sobre quem deveria viver e quem deveria morrer na simulação do Moral Machine de um acidente de carro autônomo. Se não podemos concordar com isso, então é difícil imaginar que poderíamos ter governança global unificada ou padrões universais para os sistemas de IA.

Vocês dois se descrevem como empreendedores, como o que vocês aprenderam e relataram influenciará seus esforços futuros?

Nossa prática de consultoria em IA está orientada para ajudar as organizações a crescer de forma responsável com a tecnologia. Advogados, engenheiros, cientistas sociais e pensadores de negócios são todas partes interessadas no futuro da IA. Em nosso trabalho, reunimos todas essas perspectivas e praticamos atrito criativo para encontrar soluções melhores. Desenvolvemos estruturas como o cálculo do risco intencional para ajudar a navegar essas questões.

Obrigado pelas ótimas respostas, leitores que desejam aprender mais devem visitar O Dilema da IA.