Гуманоидные роботы приходят на заводы. Кто отвечает, если они выйдут из строя?

Робот может успешно пройти проверку производительности, но всё же стать угрозой безопасности, если столкнётся с неожиданным препятствием, изменит своё поведение после обновления программного обеспечения или встретит реального работника. Вопрос теперь не в том, способны ли гуманоидные роботы выполнять задачи, а в том, как именно они могут это делать. Могут ли они работать безопасно — и кто несёт ответственность, если что-то пойдёт не так?

В октябре Agility Robotics и FORT Robotics объявили о партнёрстве, цель которого — усовершенствовать систему безопасности гуманоидного робота Digit 5 от Agility. В рамках своего подхода они предусмотрели бортовые системы безопасности, внешние интерфейсы и каналы связи, а также возможность ручного управления. Эта разработка знаменует собой важный сдвиг: роботы должны быть безопасны на рабочих местах, где трудятся люди, а это требует большего, чем просто обеспечить безопасность самого робота.

Однако одних технологий недостаточно, чтобы решить вопрос ответственности. Если робот совершит ошибку из-за неисправного компонента, который система ИИ неверно идентифицировала, ответственность могут возложить на производителя, разработчика программного обеспечения, системного интегратора и работодателя, использующего систему.

Когда решения ИИ становятся источником физической опасности

Традиционные промышленные роботы обычно работают в закрытых ячейках, где их отгораживают от людей защитными барьерами и устройствами безопасности. Гуманоидные роботы создают другую проблему: им предстоит перемещаться в среде, созданной для людей, выполнять разные задачи и адаптироваться к различным условиям.

Такая гибкость создаёт новые риски. Ложное срабатывание может привести к ненужному движению. Обновление программного обеспечения может изменить поведение робота. Изменения в планировке завода могут создать опасности, которых не было во время предыдущих испытаний.

Дана Р. Вулф, вице-президент и руководитель отраслевого направления GFT Americas, рассказала Unite AI, что для предотвращения опасных действий необходимы несколько уровней защиты, в том числе детерминированные программные ограничения, пороговые значения уверенности, настроенные для конкретного завода, объединение данных с датчиков и поэтапная проверка перед внедрением.

Полностью исключить ложноположительные результаты невозможно, сказала Вулф. Производители должны не допускать, чтобы ошибки приводили к опасным физическим движениям.

Пороговые значения уверенности и полномочия человека должны быть частью системы безопасности, как и аппаратные блокировки, сказала Вулф.

Стандарты безопасности должны поспевать за развитием технологий

Действующие стандарты промышленной робототехники дают ценную основу, но не обязательно решают все проблемы, связанные с мобильными гуманоидными роботами.

Международная организация по стандартизации (ISO) опубликовала требования безопасности для промышленных роботов, а стандарт ISO 10218-2 охватывает интеграцию роботов в комплексные системы.

Однако эти стандарты не охватывают все варианты применения и опасности, связанные с мобильными роботами, работающими вместе с людьми.

По словам Вулф, по мере развития отраслевых практик особое значение приобретают независимые испытания, проверка в различных сценариях и поэтапные пилотные проекты на рабочих местах.

Проверки безопасности необходимо также повторять, если изменения модели ИИ, программного обеспечения, ограничений на движения, задач или условий на заводе могут сделать прежние оценки безопасности недействительными.

После существенных изменений робот, который был безопасен в одних условиях, может оказаться небезопасным в новых.

Надзор со стороны человека — это больше, чем простое одобрение

Непрактично отслеживать каждое решение системы ИИ, однако, если люди не участвуют в принятии критически важных решений, возникает другая проблема: становится сложнее доказать, кто несёт ответственность.

Адриан Фигероа Рамос, соучредитель и генеральный директор Flexio и Routina, сказал, что надзор в первую очередь должен быть сосредоточен на решениях, связанных с наибольшей неопределённостью или риском.

«В современном мире ИИ объём результатов превышает возможности человека по их обработке. Если проверять всё, человек становится узким местом, но при принятии решений с высоким риском или низкой степенью уверенности человеческое суждение по-прежнему необходимо», — рассказал он Unite AI.

Это особенно важно для физического ИИ. Надзор со стороны человека должен предусматривать назначенных лиц, уполномоченных вмешаться в работу системы, а также гарантировать, что решения документируют и проверяют, а не просто нажимают кнопку подтверждения.

Кто отвечает, если робот выйдет из строя?

Ответственность следует распределять между сторонами с учётом того, насколько каждая из них контролирует систему.

Например, производители отвечают за разработку и документирование мер безопасности. Разработчики программного обеспечения должны проверять изменения, которые могут повлиять на восприятие окружающей среды или движения робота.

Интегратор должен проверить всю систему в среде, для которой она предназначена. Работодатели отвечают за обучение работников, обеспечение необходимых мер защиты и разработку процедур остановки небезопасных операций.

Кибербезопасность тоже важна. Операционные технологии могут быть уязвимы из-за проблем с датчиками, программным обеспечением и внешними системами, связанными с роботами. Сбой системы безопасности, влияющий на физическое поведение робота, представляет собой проблему охраны труда, а также проблему ИТ.

Ожидается, что в будущем гуманоидные роботы станут более гибкими и производительными на заводах. Однако решение об их внедрении будет приниматься не только на основе показателей производительности. Необходимы четкое распределение ответственности, независимая проверка и меры защиты, которые будут поддерживаться на протяжении всего срока эксплуатации робота.

Вопрос в том, может ли робот ошибаться. Может — если люди, которые им пользуются, создали систему, которая будет привлекать их к ответственности за эти ошибки.