Les robots humanoïdes arrivent dans les usines. Qui est responsable en cas de défaillance ?

Un robot peut réussir un test de performance et pourtant devenir un danger pour la sécurité s’il est confronté à un obstacle inattendu, à une modification de son comportement due à une mise à jour logicielle ou à un véritable travailleur. La question n’est plus de savoir si les robots humanoïdes peuvent accomplir une tâche, mais comment ils peuvent le faire. Peuvent-ils le faire en toute sécurité ou non — et qui est responsable en cas de problème ?

Agility Robotics et FORT Robotics ont annoncé en octobre un partenariat visant à renforcer l’architecture de sécurité du robot humanoïde Digit 5 d’Agility. Leur approche prévoit l’intégration de systèmes de sécurité embarqués, d’interfaces externes, de moyens de communication et d’une commande de dérogation manuelle. Cette initiative marque un changement important : les robots doivent pouvoir être utilisés en toute sécurité dans les lieux de travail où évoluent des humains, ce qui suppose d’aller au-delà du robot lui-même.

Toutefois, la technologie ne suffit pas à répondre à la question de la responsabilité. Si un robot commet une erreur à cause d’un composant défectueux mal identifié par un système d’IA, le fabricant, le développeur du logiciel, l’intégrateur du système et l’employeur qui utilise le système pourraient être tenus responsables.

Quand les décisions de l’IA deviennent des risques physiques

Les robots industriels traditionnels se trouvent généralement dans des cellules de travail fermées, où des barrières et des dispositifs de sécurité les séparent des travailleurs. Les robots humanoïdes posent un autre défi : ils sont censés se déplacer dans des environnements conçus pour les humains, effectuer différentes tâches et s’adapter à différents environnements.

Cette flexibilité entraîne de nouveaux risques. Une détection erronée peut provoquer un mouvement inutile. Une mise à jour logicielle pourrait modifier le comportement d’un robot. Des changements dans l’agencement de l’usine peuvent créer des dangers qui n’existaient pas lors des tests précédents.

Dana R. Wolfe, vice-présidente et responsable du secteur industriel chez GFT Americas, a déclaré à Unite AI que, pour prévenir les interventions dangereuses, plusieurs niveaux de protection étaient nécessaires, notamment des garde-fous logiciels déterministes, des seuils de confiance propres à chaque usine, la fusion des données des capteurs et une validation par étapes avant le déploiement.

Il est impossible d’éviter complètement les faux positifs, a déclaré Wolfe. Les fabricants doivent plutôt veiller à ce que les erreurs ne se traduisent pas par des mouvements physiques dangereux.

Les seuils de confiance et l’autorité humaine devraient faire partie de l’architecture de sécurité du système, tout comme les interverrouillages matériels, a déclaré Wolfe.

Les normes de sécurité doivent suivre le rythme

Les normes actuelles de robotique industrielle constituent une base précieuse, mais ne permettent pas nécessairement de résoudre tous les problèmes que posent les robots humanoïdes mobiles.

L’Organisation internationale de normalisation (ISO) a publié des exigences de sécurité pour les robots industriels, et la norme ISO 10218-2 porte sur l’intégration des robots dans des systèmes complets.

Ces normes ne couvrent toutefois pas toutes les applications ni tous les risques liés aux robots mobiles travaillant avec des humains.

Les essais indépendants, la validation fondée sur des scénarios et les projets pilotes progressifs en milieu de travail sont particulièrement importants à mesure que les pratiques du secteur évoluent, a déclaré Wolfe.

Les évaluations de sécurité doivent également être répétées si des changements apportés au modèle d’IA, au logiciel, aux restrictions de mouvement, aux tâches ou à l’environnement de l’usine risquent de rendre caduques les évaluations précédentes.

Après un changement important, un robot qui était sûr dans un ensemble de conditions peut ne plus l’être dans le nouvel ensemble de conditions.

La supervision humaine ne doit pas se limiter à une approbation

Il n’est pas réaliste de surveiller chaque décision prise par un système d’IA, mais lorsque des personnes ne participent pas aux décisions critiques, un autre problème se pose : il devient plus difficile d’établir les responsabilités.

Adrian Figueroa Ramos, cofondateur et PDG de Flexio et Routina, a déclaré que la supervision devait porter en priorité sur les décisions présentant le plus d’incertitude ou de risques.

« Dans le monde de l’IA d’aujourd’hui, le volume de résultats dépasse ce qu’un être humain peut traiter. Tout examiner fait de l’humain un goulot d’étranglement, mais le jugement humain reste nécessaire pour les décisions à haut risque ou à faible niveau de confiance », a-t-il déclaré à Unite AI.

C’est particulièrement vrai pour l’IA physique. La supervision humaine devrait prévoir des personnes nommément désignées, habilitées à passer outre les décisions d’un système, et garantir que celles-ci soient consignées et vérifiées, plutôt que de se limiter à cliquer sur un bouton d’approbation.

Qui est responsable lorsqu’un robot tombe en panne ?

La responsabilité devrait être partagée en fonction du degré de contrôle de chaque partie sur le système.

Par exemple, les fabricants sont responsables de mettre en place et de documenter les mesures de sécurité. Les développeurs de logiciels devraient tester toute modification susceptible d’avoir une incidence sur la perception ou les mouvements.

L’intégrateur doit valider le système dans son ensemble dans l’environnement auquel il est destiné. Les employeurs sont responsables de former les travailleurs, de veiller à la mise en place des mesures de protection et d’établir des procédures permettant d’interrompre les opérations dangereuses.

La cybersécurité compte également. Les technologies opérationnelles peuvent être vulnérables aux problèmes liés aux capteurs, aux logiciels et aux systèmes externes connectés aux robots. Une faille de sécurité qui affecte le comportement physique constitue un problème de sécurité au travail, autant qu’un problème informatique.

À l’avenir, les robots humanoïdes devraient gagner en flexibilité et en productivité dans les usines. Cependant, leur adoption ne reposera pas uniquement sur des mesures de performance. Il faut établir clairement les responsabilités, procéder à une validation indépendante et maintenir des mesures de protection pendant toute la durée de vie professionnelle d’un robot.

La question est de savoir si un robot peut commettre des erreurs. C’est possible si les personnes qui l’utilisent ont créé un système qui les tient responsables de ces erreurs.