Robôs humanoides estão chegando às fábricas. Quem é responsável quando eles falham?

Um robô pode concluir com sucesso um teste de desempenho e, ainda assim, se tornar um risco à segurança caso encontre um obstáculo inesperado, uma mudança em seu comportamento causada por uma atualização de software ou um trabalhador de verdade. A questão já não é se robôs humanoides conseguem realizar uma tarefa, mas como podem fazê-lo. Se conseguem fazê-lo com segurança — e quem é responsável caso algo dê errado.

A Agility Robotics e a FORT Robotics anunciaram uma parceria em outubro para aprimorar a arquitetura de segurança do robô humanoide Digit 5, da Agility. A abordagem planejada incorpora sistemas de segurança integrados ao robô, interfaces externas, comunicações e possibilidade de intervenção manual. Esse desenvolvimento marca uma mudança significativa: os robôs precisam ser seguros em locais de trabalho com pessoas, e isso exige mais do que apenas garantir a segurança do próprio robô.

No entanto, a tecnologia não basta para responder à questão da responsabilização. Quando um robô comete um erro com base em um componente defeituoso que um sistema de IA identificou incorretamente, o fabricante, o desenvolvedor do software, o integrador do sistema e o empregador que utiliza o sistema podem ser responsabilizados.

Quando as decisões da IA se tornam riscos físicos

Os robôs industriais tradicionais costumam operar em células de trabalho fechadas, isolados dos trabalhadores por barreiras e dispositivos de segurança. Os robôs humanoides representam outro desafio: espera-se que se desloquem por ambientes projetados para pessoas, realizem diferentes tarefas e se adaptem a diferentes ambientes.

Essa flexibilidade cria novos riscos. Uma detecção incorreta pode levar a um movimento desnecessário. Uma atualização de software pode alterar o comportamento de um robô. Mudanças no layout da fábrica podem criar riscos que não existiam nos testes anteriores.

Dana R. Wolfe, vice-presidente e chefe do setor industrial da GFT Americas, disse à Unite AI que, para evitar intervenções inseguras, são necessárias várias camadas de proteção, como barreiras de segurança determinísticas no software, limiares de confiança específicos para cada fábrica, fusão de sensores e validação em etapas antes da implantação.

Não há como evitar completamente os falsos positivos, disse Wolfe. Em vez disso, os fabricantes precisam garantir que os erros não se traduzam em movimentos físicos inseguros.

Os limiares de confiança e a autoridade humana devem fazer parte da arquitetura de segurança do sistema, assim como os intertravamentos de hardware, disse Wolfe.

As normas de segurança precisam acompanhar o ritmo

As normas atuais de robótica industrial oferecem uma base valiosa, mas não são necessariamente a solução para todos os problemas apresentados pelos robôs humanoides móveis.

A Organização Internacional de Normalização (ISO) publicou requisitos de segurança para robôs industriais, e a ISO 10218-2 trata da integração de robôs em sistemas completos.

No entanto, essas normas não contemplam todas as aplicações nem todos os riscos relacionados a robôs móveis que trabalham com pessoas.

Testes independentes, validação baseada em cenários e projetos-piloto por etapas nos locais de trabalho são particularmente importantes à medida que as práticas do setor evoluem, disse Wolfe.

As avaliações de segurança também precisam ser repetidas caso mudanças no modelo de IA, no software, nas restrições de movimento, nas tarefas ou no ambiente da fábrica possam invalidar avaliações anteriores.

Após uma mudança significativa, um robô que era seguro em determinadas condições pode deixar de sê-lo nas novas condições.

A supervisão humana precisa ir além da aprovação

É impraticável monitorar todas as decisões tomadas por um sistema de IA, mas, quando as pessoas não participam das decisões críticas, surge outro desafio: torna-se mais difícil comprovar a responsabilização.

Adrian Figueroa Ramos, cofundador e CEO da Flexio e da Routina, disse que a supervisão deve se concentrar nas decisões que envolvem mais incerteza ou risco.

“No mundo da IA de hoje, o volume de resultados supera a capacidade de processamento de uma pessoa. Revisar tudo transforma o ser humano em um gargalo, mas o julgamento humano continua sendo necessário para decisões de alto risco ou baixa confiança”, disse ele à Unite AI.

Isso é particularmente verdadeiro para a IA física. A supervisão humana deve incluir pessoas nominalmente designadas com autoridade para substituir as decisões do sistema e garantir que elas sejam documentadas e verificadas, em vez de apenas clicar em um botão de aprovação.

Quem assume a responsabilidade quando um robô falha?

A responsabilidade deve ser compartilhada de acordo com o grau de controle que cada parte exerce sobre o sistema.

Por exemplo, os fabricantes são responsáveis por criar e documentar medidas de segurança. Os desenvolvedores de software devem testar mudanças que possam afetar a percepção ou o movimento.

O integrador precisa validar todo o sistema no ambiente previsto para seu uso. Os empregadores são responsáveis por treinar os trabalhadores, garantir a implementação das medidas de proteção e estabelecer procedimentos para interromper operações inseguras.

A cibersegurança também é importante. A tecnologia operacional pode estar vulnerável a problemas nos sensores, no software e nos sistemas externos conectados aos robôs. Uma falha de segurança que afete o comportamento físico é um problema de segurança no local de trabalho, além de um problema de TI.

Espera-se que, no futuro, os robôs humanoides se tornem mais flexíveis e produtivos nas fábricas. No entanto, sua adoção não dependerá apenas de indicadores de desempenho. É necessário definir responsabilidades com clareza, realizar validações independentes e manter medidas de proteção durante toda a vida útil de um robô.

A questão é: um robô pode cometer erros? Pode, se as pessoas que o utilizam tiverem criado um sistema que as responsabilize por esses erros.