Humanoida robotar kommer till fabrikerna. Vem bär ansvaret när de inte fungerar?

En robot kan klara ett prestandatest utan problem och ändå utgöra en säkerhetsrisk om den stöter på ett oväntat hinder, om en programvaruuppdatering förändrar dess beteende eller om den möter en verklig arbetare. Frågan är inte längre om humanoida robotar kan utföra en uppgift, utan hur de kan göra det. Kan de göra det på ett säkert sätt – och vem bär ansvaret om något går fel?

Agility Robotics och FORT Robotics meddelade i oktober att de inleder ett partnerskap för att förbättra säkerhetsarkitekturen för Agilitys humanoida robot Digit 5. I sin planerade lösning har de inkluderat inbyggda säkerhetssystem samt externa gränssnitt, kommunikation och manuell överstyrning. Utvecklingen innebär en betydande förändring: Robotar måste vara säkra på arbetsplatser där människor arbetar, och det handlar om mer än bara roboten i sig.

Tekniken räcker dock inte för att besvara frågan om ansvar. Om en robot gör ett misstag på grund av en defekt komponent som ett AI-system har identifierat felaktigt, kan tillverkaren, programvaruutvecklaren, systemintegratören och arbetsgivaren som använder systemet hållas ansvariga.

När AI-beslut leder till fysiska risker

Traditionella industrirobotar finns vanligtvis i slutna arbetsceller, där barriärer och säkerhetsanordningar håller dem åtskilda från arbetarna. Humanoida robotar innebär en annan utmaning: de förväntas navigera i miljöer som är utformade för människor, utföra olika uppgifter och anpassa sig till olika miljöer.

Denna flexibilitet skapar nya risker. En felaktig detektion kan leda till en onödig rörelse. En programvaruuppdatering kan förändra robotens beteende. Förändringar i fabrikens utformning kan skapa risker som inte fanns vid tidigare tester.

Dana R. Wolfe, vice vd och branschchef på GFT Americas, sade till Unite AI att det krävs flera skyddslager för att förhindra osäkra ingrepp, till exempel deterministiska skyddsmekanismer i programvaran, konfidensgränser som är anpassade till den enskilda fabriken, sensorfusion och validering i etapper före driftsättning.

Det går inte att helt undvika falskt positiva resultat, sade Wolfe. Tillverkare måste i stället se till att misstag inte leder till osäkra fysiska rörelser.

Konfidensgränser och mänsklig befogenhet bör ingå i systemets säkerhetsarkitektur, liksom hårdvarubaserade förreglingar, sade Wolfe.

Säkerhetsstandarderna måste hålla jämna steg

Nuvarande standarder för industrirobotik utgör en värdefull grund, men löser inte nödvändigtvis alla problem som mobila humanoida robotar medför.

Internationella standardiseringsorganisationen (ISO) har publicerat säkerhetskrav för industrirobotar, och ISO 10218-2 omfattar integrering av robotar i kompletta system.

Dessa standarder omfattar dock inte alla tillämpningar eller risker som uppstår när mobila robotar arbetar tillsammans med människor.

Oberoende tester, scenariobaserad validering och pilotprojekt på arbetsplatser i etapper är särskilt viktiga i takt med att branschens arbetssätt utvecklas, sade Wolfe.

Säkerhetsbedömningar måste också göras om om förändringar i AI-modellen, programvaran, rörelsebegränsningarna, arbetsuppgifterna eller fabriksmiljön kan göra tidigare säkerhetsbedömningar ogiltiga.

Efter en större förändring kanske en robot som var säker under vissa förhållanden inte längre är säker under de nya förhållandena.

Mänsklig tillsyn måste innebära mer än ett godkännande

Det är opraktiskt att övervaka varje beslut som ett AI-system fattar, men när människor inte deltar i kritiska beslut uppstår en annan utmaning: det blir svårare att fastställa vem som bär ansvaret.

Adrian Figueroa Ramos, medgrundare och vd för Flexio och Routina, sade att tillsynen bör inriktas på beslut som präglas av störst osäkerhet eller innebär störst risk.

”I dagens AI-värld är mängden resultat större än vad en människa kan hantera. Om allt ska granskas blir människan en flaskhals, men mänskligt omdöme behövs fortfarande när beslut innebär hög risk eller bygger på låg tillförlitlighet”, sade han till Unite AI.

Detta gäller särskilt fysisk AI. Den mänskliga tillsynen bör omfatta namngivna personer med befogenhet att åsidosätta ett system och se till att beslut dokumenteras och kontrolleras – inte bara att någon klickar på en godkännandeknapp.

Vem bär ansvaret när en robot inte fungerar?

Ansvaret bör fördelas mellan parterna utifrån hur stor kontroll var och en har över systemet.

Tillverkarna ansvarar till exempel för att utforma och dokumentera säkerhetsåtgärder. Programvaruutvecklarna bör testa förändringar som kan påverka systemets förmåga att uppfatta omgivningen eller röra sig.

Integratören måste validera hela systemet i den avsedda miljön. Arbetsgivarna ansvarar för att utbilda arbetstagarna, se till att skyddsåtgärder finns på plats och fastställa rutiner för att stoppa osäkra arbetsmoment.

Cybersäkerhet är också viktig. Operativ teknik kan vara sårbar för problem med sensorer, programvara och externa system som är kopplade till robotar. Ett säkerhetsfel som påverkar det fysiska beteendet är ett arbetsmiljöproblem, liksom ett IT-problem.

Humanoida robotar förväntas bli mer flexibla och produktiva i fabriker i framtiden. Införandet kommer dock inte att baseras enbart på prestandamått. Det behövs ett tydligt ansvar, oberoende validering och skyddsåtgärder som upprätthålls under hela robotens livslängd.

Frågan är: kan en robot göra misstag? Ja, om de personer som använder den har skapat ett system som håller dem ansvariga för misstagen.