Humanoidní roboti míří do továren. Kdo ponese odpovědnost, když selžou?

Robot může úspěšně projít výkonnostním testem, a přesto se stát bezpečnostním rizikem, pokud narazí na neočekávanou překážku, změnu svého chování v důsledku aktualizace softwaru nebo skutečného pracovníka. Otázkou už není, zda humanoidní roboti dokážou splnit určitý úkol, ale jak ho dokážou splnit. A zda ho dokážou splnit bezpečně — a kdo ponese odpovědnost, pokud se něco pokazí.

Společnosti Agility Robotics a FORT Robotics v říjnu oznámily partnerství, jehož cílem je posílit bezpečnostní architekturu humanoidního robota Digit 5 od Agility. Svůj přístup založily na začlenění palubních bezpečnostních systémů, externích rozhraní, komunikace a možnosti manuálního převzetí řízení. Tento vývoj představuje významný posun: roboti musí být bezpeční na pracovištích, kde pracují lidé, a to vyžaduje víc než jen zabezpečení samotného robota.

Technologie však k vyřešení otázky odpovědnosti nestačí. Pokud robot udělá chybu na základě nesprávně identifikované vadné součástky systémem AI, odpovědnost může nést výrobce, vývojář softwaru, systémový integrátor i zaměstnavatel, který systém používá.

Když se rozhodnutí AI stávají fyzickým rizikem

Tradiční průmyslové roboty se obvykle nacházejí v uzavřených pracovních buňkách, kde jsou od pracovníků odděleny zábranami a bezpečnostními zařízeními. Humanoidní roboti představují jinou výzvu: mají se pohybovat v prostředích vytvořených pro lidi, plnit různé úkoly a přizpůsobovat se různým prostředím.

Tato flexibilita přináší nová rizika. Falešná detekce může vést ke zbytečnému pohybu. Aktualizace softwaru může změnit chování robota. Změny uspořádání továrny mohou vytvořit rizika, která se při předchozích testech nevyskytovala.

Dana R. Wolfe, viceprezidentka a vedoucí oddělení průmyslu ve společnosti GFT Americas, řekla Unite AI, že k předcházení nebezpečným zásahům je zapotřebí několik vrstev ochrany, například deterministické bezpečnostní mechanismy v softwaru, prahové hodnoty spolehlivosti přizpůsobené konkrétní továrně, slučování dat ze senzorů a postupné ověřování před nasazením.

Falešným pozitivním výsledkům nelze zcela zabránit, uvedla Wolfe. Výrobci však musí zajistit, aby se chyby nepromítaly do nebezpečných fyzických pohybů.

Součástí bezpečnostní architektury systému by měly být prahové hodnoty spolehlivosti a pravomoc člověka rozhodovat, stejně jako hardwarové blokovací prvky, uvedla Wolfe.

Bezpečnostní normy musí držet krok

Současné normy pro průmyslovou robotiku představují cenný základ, nemusí však nutně řešit všechny problémy, které přinášejí mobilní humanoidní roboti.

Mezinárodní organizace pro normalizaci (ISO) zveřejnila bezpečnostní požadavky pro průmyslové roboty a norma ISO 10218-2 se zabývá integrací robotů do kompletních systémů.

Tyto normy se však nevztahují na všechny aplikace ani na všechna rizika spojená s mobilními roboty, kteří pracují s lidmi.

S vývojem postupů v odvětví jsou obzvlášť důležité nezávislé testování, ověřování založené na scénářích a postupné pilotní projekty na pracovištích, uvedla Wolfe.

Bezpečnostní hodnocení je nutné zopakovat také tehdy, pokud změny modelu AI, softwaru, omezení pohybu, úkolů nebo prostředí továrny mohou zneplatnit předchozí hodnocení.

Po zásadní změně nemusí být robot, který byl bezpečný za jedné sady podmínek, bezpečný za nových podmínek.

Lidský dohled musí znamenat víc než pouhé schválení

Sledovat každé rozhodnutí systému AI je nepraktické. Pokud se však lidé nepodílejí na zásadních rozhodnutích, vzniká další problém: odpovědnost se dokazuje obtížněji.

Adrian Figueroa Ramos, spoluzakladatel a generální ředitel společností Flexio a Routina, uvedl, že dohled by se měl zaměřovat na rozhodnutí spojená s největší nejistotou nebo rizikem.

„V dnešním světě AI je objem výstupů větší, než dokáže člověk zpracovat. Kontrola všeho z člověka dělá úzké hrdlo, lidský úsudek je však stále nezbytný u rozhodnutí s vysokým rizikem nebo nízkou mírou spolehlivosti,“ řekl Unite AI.

To platí zejména pro fyzickou AI. Lidský dohled by měl zahrnovat jmenovitě určené osoby s pravomocí systém přepsat a zajistit, aby se rozhodnutí dokumentovala a kontrolovala, nikoli jen potvrzovala kliknutím na tlačítko.

Kdo ponese odpovědnost, když robot selže?

Odpovědnost by měla být rozdělena podle toho, nakolik jednotlivé strany systém ovládají.

Výrobci například odpovídají za vytvoření a zdokumentování bezpečnostních opatření. Změny, které mohou ovlivnit vnímání nebo pohyb, by měli testovat vývojáři softwaru.

Integrátor musí celý systém ověřit v prostředí, pro které je určen. Zaměstnavatelé odpovídají za školení pracovníků, zajištění ochranných opatření a zavedení postupů pro zastavení nebezpečného provozu.

Důležitá je také kybernetická bezpečnost. Provozní technologie mohou být zranitelné vůči problémům se senzory, softwarem a externími systémy souvisejícími s roboty. Bezpečnostní incident, který ovlivní fyzické chování, představuje problém pro bezpečnost na pracovišti i problém v oblasti IT.

Očekává se, že humanoidní roboti budou v budoucnu ve výrobních závodech flexibilnější a produktivnější. Jejich zavádění se však nebude řídit pouze ukazateli výkonnosti. Je třeba jasně stanovit odpovědnost, zajistit nezávislé ověřování a udržovat bezpečnostní opatření po celou dobu provozního života robota.

Otázkou je, zda může robot chybovat. Může, pokud lidé, kteří ho používají, vytvořili systém, který je za tyto chyby činí odpovědnými.