Complacência na Automação: Como Colocar os Humanos de Volta no Loop

Em uma reviravolta dramática dos eventos, os Robotaxis, veículos autônomos que pegam passageiros sem operador humano, foram recentemente liberados em São Francisco. Após uma audiência pública controversa de 7 horas, a decisão foi impulsionada pela Comissão de Serviços Públicos da Califórnia. Apesar dos protestos, há um sentimento de inevitabilidade no ar. A Califórnia vem gradualmente relaxando as restrições desde início de 2022. As novas regras permitem que as duas empresas com permissões – Waymo da Alphabet e Cruise da GM – enviem esses táxis em qualquer lugar dentro da cidade de 7 milhas quadradas, exceto rodovias, e cobrem tarifas dos passageiros.

A ideia de táxis autônomos tende a evocar duas emoções conflitantes: Excitamento (“táxis a um custo muito menor!”) e medo (“vão atropelar-me ou meus filhos?”) Portanto, os reguladores muitas vezes exigem que os carros sejam testados com passageiros que possam intervir e gerenciar os controles antes de um acidente ocorrer. Infelizmente, ter humanos em alerta, prontos para substituir os sistemas em tempo real, pode não ser a melhor maneira de garantir a segurança.

Na verdade, dos 18 mortos nos EUA associados a acidentes de carros autônomos (até fevereiro deste ano), todos eles tinham alguma forma de controle humano, seja no carro ou remotamente. Isso inclui um dos mais famosos, que ocorreu tarde da noite em uma estrada suburbana ampla em Tempe, Arizona, em 2018. Um veículo de teste autônomo da Uber matou uma mulher de 49 anos chamada Elaine Herzberg, que estava correndo com sua bicicleta para cruzar a estrada. O operador humano no banco do passageiro estava olhando para baixo, e o carro não os alertou até menos de um segundo antes do impacto. Eles pegaram o volante muito tarde. O acidente fez a Uber suspender o teste de carros autônomos. Em última análise, vendeu a divisão de veículos automatizados, que havia sido uma parte fundamental de sua estratégia de negócios.

O operador acabou na prisão devido à complacência da automação, um fenômeno descoberto nos primeiros dias de treinamento de voo de pilotos. A superconfiança é uma dinâmica frequente com sistemas de IA. Quanto mais autônomo o sistema, mais os operadores humanos tendem a confiar nele e não prestar atenção total. Nos entediamos assistindo a essas tecnologias. Quando um acidente está prestes a acontecer, não o esperamos e não reagimos a tempo.

Os humanos são naturais no que o especialista em riscos Ron Dembo chama de “pensamento de risco” – uma forma de pensar que mesmo a aprendizagem de máquina mais sofisticada ainda não pode emular. Isso é a capacidade de reconhecer, quando a resposta não é óbvia, que devemos desacelerar ou parar. O pensamento de risco é crítico para sistemas automatizados, e isso cria um dilema. Os humanos querem estar no loop, mas colocá-los no controle quando confiam tão complacentemente em sistemas automatizados pode na verdade piorar as coisas.

Como, então, os desenvolvedores de sistemas automatizados podem resolver esse dilema, para que experimentos como o que está acontecendo em São Francisco terminem positivamente? A resposta é a diligência extra, não apenas no momento do impacto, mas nas fases iniciais de design e desenvolvimento. Todos os sistemas de IA envolvem riscos quando são deixados sem supervisão. Carros autônomos não estarão livres de riscos, mesmo que sejam mais seguros, em média, do que carros dirigidos por humanos.

O acidente da Uber mostra o que acontece quando não pensamos nos riscos com intencionalidade. Para fazer isso, precisamos de fricção criativa: trazer múltiplas perspectivas humanas em jogo muito antes de esses sistemas serem liberados. Em outras palavras, pensar nas implicações dos sistemas de IA, em vez de apenas nas aplicações, requer a perspectiva das comunidades que serão diretamente afetadas pela tecnologia.

A Waymo e a Cruise defenderam os registros de segurança de seus veículos, com base na probabilidade estatística. No entanto, essa decisão transforma São Francisco em um experimento vivo. Quando os resultados forem totalizados, será extremamente importante capturar os dados certos, compartilhar os sucessos e os fracassos, e deixar as comunidades afetadas opinar, juntamente com os especialistas, os políticos e os empresários. Em outras palavras, manter todos os humanos no loop. Caso contrário, corremos o risco de complacência na automação – a disposição para delegar a tomada de decisões aos sistemas de IA – em uma escala muito grande.

Juliette Powell e Art Kleiner são co-autores do novo livro O Dilema da IA: 7 Princípios para Tecnologia Responsável.