Humanoide roboter kommer til fabrikkene. Hvem har ansvaret når de svikter?

En robot kan bestå en ytelsestest uten problemer og likevel bli en sikkerhetsrisiko hvis den møter en uventet hindring, endrer atferd som følge av en programvareoppdatering eller kommer i kontakt med en faktisk arbeidstaker. Spørsmålet er ikke lenger om humanoide roboter kan utføre en oppgave, men hvordan de kan gjøre det. Kan de gjøre det på en trygg måte – og hvem har ansvaret hvis noe går galt?

Agility Robotics og FORT Robotics kunngjorde i oktober et samarbeid for å styrke sikkerhetsarkitekturen til Agilitys humanoide robot Digit 5. De har planlagt tilnærmingen sin ved å innlemme innebygde sikkerhetssystemer og eksterne grensesnitt, kommunikasjon og manuell overstyring. Utviklingen markerer et betydelig skifte: Roboter må være trygge på arbeidsplasser der mennesker jobber, og det innebærer mer enn bare selve roboten.

Teknologi er imidlertid ikke nok til å avklare spørsmålet om ansvar. Hvis en robot gjør en feil på grunn av en defekt komponent som et KI-system har feilidentifisert, kan produsenten, programvareutvikleren, systemintegratoren og arbeidsgiveren som bruker systemet, holdes ansvarlige.

Når KI-beslutninger blir fysiske risikoer

Tradisjonelle industriroboter står som regel i avskjermede arbeidsområder, der barrierer og sikkerhetsutstyr holder dem adskilt fra arbeidstakerne. Humanoide roboter byr på en annen utfordring: De skal kunne bevege seg i omgivelser som er utformet for mennesker, utføre ulike oppgaver og tilpasse seg ulike miljøer.

Denne fleksibiliteten skaper nye risikoer. En feilaktig deteksjon kan føre til en unødvendig bevegelse. En programvareoppdatering kan endre robotens atferd. Endringer i fabrikkens utforming kan skape farer som ikke var til stede under tidligere tester.

Dana R. Wolfe, visepresident og bransjeleder i GFT Americas, sa til Unite AI at det er nødvendig med flere lag med beskyttelse for å hindre farlige inngrep, for eksempel deterministiske sikkerhetssperrer i programvaren, konfidensgrenser tilpasset den enkelte fabrikk, sensorfusjon og trinnvis validering før utrulling.

Det er umulig å unngå falske positive resultater helt, sa Wolfe. Produsentene må i stedet sørge for at feil ikke fører til utrygge fysiske bevegelser.

Konfidensgrenser og myndighet for mennesker bør inngå i systemets sikkerhetsarkitektur, det samme bør maskinvarebaserte sikkerhetsforriglinger, sa Wolfe.

Sikkerhetsstandardene må holde tritt

Dagens standarder for industrirobotikk gir et verdifullt grunnlag, men løser ikke nødvendigvis alle problemene som mobile humanoide roboter fører med seg.

Den internasjonale standardiseringsorganisasjonen (ISO) har publisert sikkerhetskrav for industriroboter, og ISO 10218-2 omhandler integrering av roboter i komplette systemer.

Disse standardene tar imidlertid ikke for seg alle bruksområder eller farer knyttet til mobile roboter som arbeider sammen med mennesker.

Uavhengig testing, scenariobasert validering og trinnvis utprøving på arbeidsplasser er særlig viktig etter hvert som bransjepraksis utvikler seg, sa Wolfe.

Sikkerhetsvurderinger må også gjentas dersom endringer i KI-modellen, programvaren, bevegelsesbegrensningene, oppgavene eller fabrikkmiljøet kan gjøre tidligere sikkerhetsvurderinger ugyldige.

Etter en større endring er det ikke sikkert at en robot som var trygg under ett sett med forhold, også er trygg under de nye forholdene.

Menneskelig tilsyn må bety mer enn godkjenning

Det er upraktisk å overvåke hver eneste beslutning et KI-system tar, men når mennesker ikke deltar i kritiske beslutninger, oppstår en annen utfordring: Det blir vanskeligere å fastslå hvem som har ansvaret.

Adrian Figueroa Ramos, medgründer og administrerende direktør i Flexio og Routina, sa at tilsynet bør rette seg mot beslutninger med størst usikkerhet eller risiko.

«I dagens KI-verden er det flere resultater enn et menneske kan behandle. Hvis man går gjennom alt, blir mennesket en flaskehals, men menneskelig skjønn er fortsatt nødvendig ved beslutninger med høy risiko eller lav grad av sikkerhet», sa han til Unite AI.

Dette gjelder særlig fysisk KI. Menneskelig tilsyn bør omfatte navngitte personer med myndighet til å overstyre et system og sørge for at beslutninger dokumenteres og kontrolleres – ikke bare innebære å klikke på en godkjenningsknapp.

Hvem har ansvaret når en robot svikter?

Ansvaret bør fordeles ut fra hvor mye kontroll hver part har over systemet.

Produsentene har for eksempel ansvar for å utarbeide og dokumentere sikkerhetstiltak. Programvareutviklerne bør teste endringer som kan påvirke robotens oppfatning av omgivelsene eller bevegelser.

Systemintegratoren må validere hele systemet i det tiltenkte miljøet. Arbeidsgiverne har ansvar for å lære opp arbeidstakerne, sørge for at sikkerhetstiltakene er på plass, og etablere rutiner for å stanse utrygg drift.

Cybersikkerhet er også viktig. Operasjonell teknologi kan være sårbar for problemer med sensorer, programvare og eksterne systemer som er koblet til roboter. En sikkerhetssvikt som påvirker den fysiske atferden, er et problem for sikkerheten på arbeidsplassen så vel som et IT-problem.

Humanoide roboter forventes å bli mer fleksible og produktive på fabrikker i framtiden. Innføringen vil imidlertid ikke utelukkende bygge på ytelsesmålinger. Det er behov for tydelig ansvarsplassering, uavhengig validering og sikkerhetstiltak som opprettholdes gjennom hele robotens levetid i arbeid.

Spørsmålet er: Kan en robot gjøre feil? Det kan den, dersom personene som bruker den, har skapt et system som holder dem ansvarlige for disse feilene.