Humanoïde robots komen naar fabrieken. Wie is verantwoordelijk als ze falen?

Een robot kan een prestatietest met succes doorstaan en toch een veiligheidsrisico vormen als hij een onverwacht obstakel tegenkomt, zich anders gaat gedragen door een software-update of een echte werknemer tegenkomt. De vraag is niet langer óf humanoïde robots een taak kunnen uitvoeren, maar hoe ze dat kunnen doen. Kunnen ze dat veilig doen of niet — en wie is verantwoordelijk als er iets misgaat?

Agility Robotics en FORT Robotics kondigden in oktober een samenwerking aan om de veiligheidsarchitectuur van Agility’s humanoïde robot Digit 5 te verbeteren. Ze hebben hun aanpak gepland met ingebouwde veiligheidssystemen en externe interfaces, communicatiemiddelen en een handmatige override. Deze ontwikkeling markeert een belangrijke verschuiving: robots moeten veilig zijn op werkplekken waar mensen werken, en daarvoor is meer nodig dan alleen de robot zelf.

Technologie alleen biedt echter geen antwoord op de vraag wie verantwoordelijk is. Als een robot een fout maakt doordat een AI-systeem een defect onderdeel verkeerd heeft geïdentificeerd, kunnen de fabrikant, de softwareontwikkelaar, de systeemintegrator en de werkgever die het systeem gebruikt aansprakelijk worden gesteld.

Wanneer AI-beslissingen fysieke risico’s worden

Traditionele industriële robots staan doorgaans in afgeschermde werkcellen, waar barrières en veiligheidsvoorzieningen ze van werknemers scheiden. Humanoïde robots brengen een andere uitdaging met zich mee: ze moeten hun weg vinden in omgevingen die voor mensen zijn ingericht, verschillende taken uitvoeren en zich aanpassen aan uiteenlopende omgevingen.

Die flexibiliteit brengt nieuwe risico’s met zich mee. Een foutieve detectie kan leiden tot een onnodige beweging. Een software-update kan het gedrag van een robot veranderen. Veranderingen in de indeling van de fabriek kunnen risico’s opleveren die tijdens eerdere tests niet aanwezig waren.

Dana R. Wolfe, vicepresident en hoofd van de industrieafdeling bij GFT Americas, vertelde Unite AI dat er meerdere beschermingslagen nodig zijn om onveilige ingrepen te voorkomen, zoals deterministische veiligheidsmaatregelen in software, fabrieksspecifieke betrouwbaarheidsdrempels, sensorfusie en gefaseerde validatie vóór de ingebruikname.

Valse positieve resultaten zijn niet volledig te voorkomen, zei Wolfe. Fabrikanten moeten er juist voor zorgen dat fouten niet leiden tot onveilige fysieke bewegingen.

Betrouwbaarheidsdrempels en menselijk gezag moeten deel uitmaken van de veiligheidsarchitectuur van het systeem, net als hardwarematige vergrendelingen, zei Wolfe.

Veiligheidsnormen moeten gelijke tred houden

De huidige normen voor industriële robotica bieden een waardevolle basis, maar vormen niet noodzakelijkerwijs een oplossing voor alle problemen die mobiele humanoïde robots met zich meebrengen.

De Internationale Organisatie voor Normalisatie (ISO) heeft veiligheidseisen voor industriële robots gepubliceerd. ISO 10218-2 behandelt de integratie van robots in complete systemen.

Deze normen behandelen echter niet alle toepassingen en risico’s van mobiele robots die met mensen werken.

Onafhankelijke tests, scenariogebaseerde validatie en gefaseerde proefprojecten op de werkplek zijn bijzonder belangrijk naarmate de praktijken in de sector veranderen, zei Wolfe.

Veiligheidsbeoordelingen moeten ook opnieuw worden uitgevoerd als wijzigingen in het AI-model, de software, bewegingsbeperkingen, taken of fabrieksomgeving eerdere veiligheidsbeoordelingen ongeldig kunnen maken.

Na een grote verandering is een robot die onder bepaalde omstandigheden veilig was, mogelijk niet veilig onder de nieuwe omstandigheden.

Menselijk toezicht moet meer inhouden dan goedkeuring

Het is onpraktisch om elke beslissing van een AI-systeem te controleren. Maar als mensen niet betrokken zijn bij cruciale beslissingen, ontstaat een ander probleem: het wordt moeilijker om verantwoordelijkheid aan te tonen.

Adrian Figueroa Ramos, medeoprichter en CEO van Flexio en Routina, zei dat het toezicht zich moet richten op beslissingen die de meeste onzekerheid of het grootste risico met zich meebrengen.

‘In de huidige wereld van AI is de hoeveelheid uitvoer groter dan een mens kan verwerken. Alles controleren maakt de mens tot een flessenhals, maar menselijk oordeel blijft noodzakelijk bij beslissingen met een hoog risico of weinig zekerheid’, vertelde hij aan Unite AI.

Dit geldt vooral voor fysieke AI. Bij menselijk toezicht moeten bij naam aangewezen personen betrokken zijn die bevoegd zijn om een systeem te overrulen en ervoor kunnen zorgen dat beslissingen worden vastgelegd en gecontroleerd, in plaats van alleen op een goedkeuringsknop te klikken.

Wie is verantwoordelijk als een robot faalt?

De verantwoordelijkheid moet worden gedeeld op basis van de mate waarin elke partij controle heeft over het systeem.

Fabrikanten zijn bijvoorbeeld verantwoordelijk voor het opstellen en documenteren van veiligheidsmaatregelen. Softwareontwikkelaars moeten wijzigingen testen die van invloed kunnen zijn op de waarneming of beweging.

De integrator moet het volledige systeem valideren in de omgeving waarvoor het bedoeld is. Werkgevers zijn verantwoordelijk voor het opleiden van werknemers, het waarborgen dat de veiligheidsvoorzieningen aanwezig zijn en het vaststellen van procedures om onveilige werkzaamheden stil te leggen.

Ook cyberbeveiliging is belangrijk. Operationele technologie kan kwetsbaar zijn voor problemen met sensoren, software en externe systemen die met robots zijn verbonden. Een beveiligingsprobleem dat invloed heeft op het fysieke gedrag, is niet alleen een IT-probleem, maar ook een probleem voor de veiligheid op de werkvloer.

Naar verwachting zullen humanoïde robots in de toekomst flexibeler en productiever worden in fabrieken. De invoering ervan zal echter niet alleen afhangen van prestatie-indicatoren. Er moet duidelijkheid zijn over de verantwoordelijkheid, er moet onafhankelijke validatie plaatsvinden en er moeten gedurende de hele operationele levensduur van een robot veiligheidsmaatregelen van kracht blijven.

De vraag is: kan een robot fouten maken? Dat kan, als de mensen die hem gebruiken een systeem hebben opgezet waarin zij verantwoordelijk worden gehouden voor die fouten.