Complacência da Automação: Como Colocar os Humanos de Volta no Loop

Em um dramático reviravolta de eventos, os Robotaxis, veículos autônomos que pegam passageiros sem operador humano, foram recentemente liberados em São Francisco. Após uma contenciosa audiência pública de 7 horas, a decisão foi aprovada pela Comissão de Serviços Públicos da Califórnia. Apesar das protestos, há um sentimento de inevitabilidade no ar. A Califórnia vem gradualmente afrouxando as restrições desde início de 2022. As novas regras permitem que as duas empresas com permissões – Waymo da Alphabet e Cruise da GM – enviem esses táxis em qualquer lugar dentro da cidade de 7 milhas quadradas, exceto rodovias, e cobrem tarifas dos passageiros.

A ideia de táxis autônomos tende a despertar duas emoções conflitantes: Excitamento (“táxis a um custo muito menor!”) e medo (“vão atropelar-me ou meus filhos?”) Assim, os reguladores frequentemente exigem que os carros sejam testados com passageiros que possam intervir e controlar os controles antes de um acidente ocorrer. Infelizmente, ter humanos em alerta, prontos para substituir os sistemas em tempo real, pode não ser a melhor maneira de garantir a segurança.

Na verdade, dos 18 mortos nos EUA associados a acidentes de carros autônomos (até fevereiro deste ano), todos eles tinham algum tipo de controle humano, seja no carro ou remotamente. Isso inclui um dos mais famosos, que ocorreu tarde da noite em uma estrada suburbana larga em Tempe, Arizona, em 2018. Um veículo de teste autônomo da Uber matou uma mulher de 49 anos chamada Elaine Herzberg, que estava correndo com sua bicicleta para atravessar a estrada. O operador humano no banco do passageiro estava olhando para baixo, e o carro não os alertou até menos de um segundo antes do impacto. Eles pegaram o volante muito tarde. O acidente fez com que a Uber suspendesse os testes de carros autônomos. Eventualmente, vendeu a divisão de veículos automatizados, que havia sido uma parte fundamental de sua estratégia de negócios.

O operador acabou na prisão devido à complacência da automação, um fenômeno descoberto nos primeiros dias de treinamento de voo de pilotos. A superconfiança é uma dinâmica frequente com sistemas de IA. Quanto mais autônomo o sistema, mais os operadores humanos tendem a confiar nele e não prestar atenção total. Nos entediamos assistindo a essas tecnologias. Quando um acidente está realmente prestes a acontecer, não o esperamos e não reagimos a tempo.

Os humanos são naturais no que o especialista em risco Ron Dembo chama de “pensamento de risco” – uma forma de pensar que mesmo as máquinas de aprendizado mais sofisticadas ainda não conseguem emular. Essa é a capacidade de reconhecer, quando a resposta não é óbvia, que devemos desacelerar ou parar. O pensamento de risco é fundamental para sistemas automatizados, e isso cria um dilema. Os humanos querem estar no loop, mas colocá-los no controle quando confiamos tão complacentemente em sistemas automatizados pode na verdade piorar as coisas.

Como, então, os desenvolvedores de sistemas automatizados podem resolver esse dilema, para que experimentos como o que está acontecendo em São Francisco terminem positivamente? A resposta é a diligência extra, não apenas no momento do impacto, mas nas fases iniciais de design e desenvolvimento. Todos os sistemas de IA envolvem riscos quando são deixados sem supervisão. Carros autônomos não estarão livres de risco, mesmo se forem mais seguros, em média, do que carros dirigidos por humanos.

O acidente da Uber mostra o que acontece quando não pensamos com intenção. Para fazer isso, precisamos de fricção criativa: trazer múltiplas perspectivas humanas em jogo muito antes de esses sistemas serem liberados. Em outras palavras, pensar nas implicações dos sistemas de IA, e não apenas nas aplicações, requer a perspectiva das comunidades que serão diretamente afetadas pela tecnologia.

A Waymo e a Cruise defenderam os registros de segurança de seus veículos, com base na probabilidade estatística. No entanto, essa decisão transforma São Francisco em um experimento vivo. Quando os resultados forem contabilizados, será extremamente importante capturar os dados certos, compartilhar os sucessos e os fracassos, e permitir que as comunidades afetadas participem, juntamente com os especialistas, os políticos e os empresários. Em outras palavras, manter todos os humanos no loop. Caso contrário, corremos o risco de complacência da automação – a disposição de delegar a tomada de decisões aos sistemas de IA – em uma escala muito grande.

Juliette Powell e Art Kleiner são co-autores do novo livro O Dilema da IA: 7 Princípios para Tecnologia Responsável.