Humanoidalne roboty trafiają do fabryk. Kto odpowiada, gdy zawiodą?

Robot może pomyślnie przejść test sprawności, a mimo to stać się zagrożeniem dla bezpieczeństwa, jeśli napotka nieoczekiwaną przeszkodę, zmieni sposób działania wskutek aktualizacji oprogramowania lub zetknie się z prawdziwym pracownikiem. Pytanie nie brzmi już, czy humanoidalne roboty potrafią wykonać dane zadanie, lecz jak mogą to zrobić. Czy potrafią zrobić to bezpiecznie — i kto odpowiada, jeśli coś pójdzie nie tak?

Agility Robotics i FORT Robotics ogłosiły w październiku partnerstwo, którego celem jest udoskonalenie architektury bezpieczeństwa humanoidalnego robota Digit 5 firmy Agility. Zaplanowano podejście obejmujące pokładowe systemy bezpieczeństwa, zewnętrzne interfejsy i komunikację oraz możliwość ręcznego przejęcia kontroli. To przedsięwzięcie oznacza istotną zmianę: roboty muszą być bezpieczne w miejscach pracy, w których przebywają ludzie, a to wymaga czegoś więcej niż zadbania o samego robota.

Technologia nie wystarczy jednak, by rozstrzygnąć kwestię odpowiedzialności. Jeśli robot popełni błąd z powodu wadliwego komponentu, który system AI błędnie zidentyfikował, odpowiedzialność mogą ponosić producent, twórca oprogramowania, integrator systemu oraz pracodawca korzystający z tego systemu.

Gdy decyzje AI stają się fizycznym zagrożeniem

Tradycyjne roboty przemysłowe zwykle pracują w odgrodzonych stanowiskach, gdzie oddzielają je od pracowników bariery i urządzenia ochronne. Humanoidalne roboty stanowią inne wyzwanie: mają poruszać się w otoczeniu zaprojektowanym dla ludzi, wykonywać różne zadania i dostosowywać się do różnych warunków.

Ta elastyczność stwarza nowe zagrożenia. Fałszywe wykrycie może doprowadzić do niepotrzebnego ruchu. Aktualizacja oprogramowania może zmienić zachowanie robota. Zmiany w układzie fabryki mogą stworzyć zagrożenia, których nie było podczas wcześniejszych testów.

Dana R. Wolfe, wiceprezeska i dyrektorka ds. branżowych w GFT Americas, powiedziała Unite AI, że aby zapobiegać niebezpiecznym interwencjom, potrzebnych jest kilka warstw zabezpieczeń, takich jak deterministyczne mechanizmy ochronne w oprogramowaniu, progi pewności dostosowane do konkretnej fabryki, łączenie danych z czujników oraz etapowa walidacja przed wdrożeniem.

Jak powiedziała Wolfe, nie da się całkowicie wyeliminować wyników fałszywie dodatnich. Producenci muszą natomiast zadbać o to, by błędy nie prowadziły do niebezpiecznych ruchów robota.

Progi pewności i uprawnienia człowieka powinny być elementem architektury bezpieczeństwa systemu, podobnie jak sprzętowe blokady bezpieczeństwa — powiedziała Wolfe.

Standardy bezpieczeństwa muszą nadążać za zmianami

Obecne standardy dotyczące robotyki przemysłowej stanowią cenną podstawę, ale niekoniecznie rozwiązują wszystkie problemy związane z mobilnymi robotami humanoidalnymi.

Międzynarodowa Organizacja Normalizacyjna (ISO) opublikowała wymagania dotyczące bezpieczeństwa robotów przemysłowych, a norma ISO 10218-2 obejmuje integrację robotów z kompletnymi systemami.

Standardy te nie uwzględniają jednak wszystkich zastosowań ani zagrożeń związanych z pracą mobilnych robotów wśród ludzi.

Jak powiedziała Wolfe, w miarę rozwoju praktyk branżowych szczególne znaczenie mają niezależne testy, walidacja oparta na scenariuszach oraz etapowe pilotaże w miejscu pracy.

Oceny bezpieczeństwa należy również powtarzać, jeśli zmiany w modelu AI, oprogramowaniu, ograniczeniach ruchu, zadaniach lub środowisku fabrycznym mogą sprawić, że wcześniejsze oceny przestaną być miarodajne.

Po istotnej zmianie robot bezpieczny w określonych warunkach może przestać być bezpieczny w nowych warunkach.

Nadzór człowieka musi oznaczać więcej niż samo zatwierdzanie

Monitorowanie każdej decyzji podejmowanej przez system AI jest niepraktyczne, ale gdy ludzie nie uczestniczą w podejmowaniu kluczowych decyzji, pojawia się inny problem: trudniej udowodnić, kto ponosi odpowiedzialność.

Adrian Figueroa Ramos, współzałożyciel i dyrektor generalny Flexio i Routina, powiedział, że nadzór powinien koncentrować się na decyzjach obarczonych największą niepewnością lub ryzykiem.

„W dzisiejszym świecie AI ilość generowanych wyników przekracza możliwości człowieka. Weryfikowanie wszystkiego sprawia, że człowiek staje się wąskim gardłem, ale ludzki osąd wciąż jest niezbędny przy decyzjach wysokiego ryzyka lub podejmowanych przy niskim poziomie pewności” — powiedział Unite AI.

Dotyczy to szczególnie fizycznej AI. Nadzór człowieka powinien obejmować wskazane z nazwiska osoby uprawnione do przejęcia kontroli nad systemem, a także zapewniać dokumentowanie i weryfikowanie decyzji — nie może ograniczać się do kliknięcia przycisku zatwierdzającego.

Kto odpowiada, gdy robot zawiedzie?

Odpowiedzialność powinna być podzielona w zależności od tego, jaką kontrolę nad systemem sprawuje każda ze stron.

Na przykład producenci odpowiadają za opracowanie i udokumentowanie środków bezpieczeństwa. Twórcy oprogramowania powinni testować zmiany, które mogą wpłynąć na postrzeganie otoczenia lub ruch robota.

Integrator powinien zwalidować cały system w środowisku, w którym ma on być używany. Pracodawcy odpowiadają za przeszkolenie pracowników, zapewnienie odpowiednich zabezpieczeń oraz ustanowienie procedur zatrzymywania niebezpiecznych działań.

Cyberbezpieczeństwo również ma znaczenie. Technologia operacyjna może być podatna na problemy z czujnikami i oprogramowaniem oraz problemy dotyczące systemów zewnętrznych połączonych z robotami. Awaria zabezpieczeń wpływająca na zachowanie fizyczne robota stanowi problem związany z bezpieczeństwem w miejscu pracy, a także problem informatyczny.

Oczekuje się, że w przyszłości humanoidalne roboty będą bardziej elastyczne i wydajne w fabrykach. Jednak ich wdrażanie nie będzie zależeć wyłącznie od wskaźników wydajności. Konieczne jest jasne określenie odpowiedzialności, niezależna walidacja oraz zabezpieczenia utrzymywane przez cały okres eksploatacji robota.

Pytanie brzmi: czy robot może popełniać błędy? Może, jeśli osoby, które z niego korzystają, stworzyły system, który pociągnie je do odpowiedzialności za te błędy.