观点
人形机器人即将进入工厂。发生故障时,谁来负责?

要点Humanoid robots create new risks because they navigate human spaces and adapt to…
查看更多
- Humanoid robots create new risks because they navigate human spaces and adapt to changing environments.
- Safety standards for industrial robots do not fully cover mobile humanoids working alongside people.
- Accountability should be shared among manufacturers developers integrators and employers based on control.
机器人可能顺利通过性能测试,但如果遇到意料之外的障碍、软件更新导致行为方式发生变化,或遇到真正的工人,它仍可能造成安全隐患。如今,问题已不再是人形机器人能否完成某项任务,而是它们该如何完成任务;它们能否安全地完成任务?一旦出了问题,又该由谁负责?
Agility Robotics 和 FORT Robotics 于 10 月宣布建立合作伙伴关系,以提升 Agility 的 Digit 5 人形机器人的安全架构。双方计划将机载安全系统、外部接口、通信机制和手动接管功能纳入方案。这一进展标志着一个重大转变:机器人必须能在人类工作的场所安全运行,而这不仅仅取决于机器人本身。
然而,仅靠技术无法解决责任归属问题。如果 AI 系统将某个有故障的部件误判为其他部件,并据此导致机器人出错,那么制造商、软件开发人员、系统集成商以及使用该系统的雇主都可能承担责任。
当 AI 决策演变为现实风险
传统工业机器人通常在封闭的工作单元内运行,与工人之间设有屏障和安全装置。人形机器人则带来了另一种挑战:它们需要在人类活动的环境中穿行、执行不同任务,并适应不同环境。
这种灵活性也带来了新的风险。误检可能导致不必要的动作。软件更新可能改变机器人的行为。工厂布局发生变化,也可能产生此前测试中不存在的危险。
GFT Americas 行业副总裁兼负责人 Dana R. Wolfe 告诉 Unite AI,为防止不安全的操作,需要设置多层防护,例如确定性软件防护机制、针对具体工厂设定的置信度阈值、传感器融合,以及部署前分阶段验证。
Wolfe 表示,完全避免误报是不可能的。制造商需要做的,是确保错误不会转化为不安全的实体动作。
Wolfe 表示,置信度阈值和人类的决策权应纳入系统的安全架构,硬件联锁装置也应如此。
安全标准必须跟上发展步伐
现行工业机器人标准提供了宝贵的基础,但未必能解决移动人形机器人带来的所有问题。
国际标准化组织(ISO)已发布工业机器人安全要求,ISO 10218-2 则涵盖了将机器人集成到完整系统中的相关要求。
然而,这些标准并未涵盖移动机器人与人类协同工作时涉及的所有应用场景或危险。
Wolfe 表示,随着行业实践不断演变,独立测试、基于场景的验证以及分阶段开展的工作场所试点尤为重要。
如果 AI 模型、软件、运动限制、任务或工厂环境发生变化,可能导致先前的安全评估失效,因此必须重新进行安全评估。
发生重大变化后,机器人在一组条件下可能是安全的,但在新的条件下未必安全。
人类监督不能只是批准
要监控 AI 系统作出的每一项决策并不现实;但如果人类不参与关键决策,就会出现另一个问题:责任归属将更难厘清。
Flexio 和 Routina 的联合创始人兼首席执行官 Adrian Figueroa Ramos 表示,监督应重点关注不确定性或风险最高的决策。
“在当今的 AI 世界里,输出信息的数量已经超出人类的处理能力。逐一审查所有内容会让人类成为瓶颈,但对于高风险或低置信度的决策,仍然需要人的判断。”他告诉 Unite AI。
这一点对于实体 AI 尤其重要。人类监督应明确指定有权推翻系统决策的人员,并确保决策经过记录和核查,而不只是点击批准按钮。
机器人发生故障时,谁来承担责任?
各方应根据其对系统的控制程度分担责任。
例如,制造商负责制定并记录安全措施。软件开发人员应对可能影响感知或运动的变更进行测试。
集成商需要在预定的使用环境中验证整个系统。雇主则负责培训工人、确保防护措施到位,并制定停止不安全作业的程序。
网络安全同样重要。与机器人相关的运营技术可能受到传感器、软件和外部系统问题的影响。影响物理行为的安全故障既是工作场所安全问题,也是 IT 问题。
未来,人形机器人有望在工厂中变得更加灵活、更加高效。不过,是否采用它们不会仅仅取决于性能指标。我们需要明确责任归属、开展独立验证,并在机器人的整个工作寿命期间持续落实防护措施。
问题是,机器人会犯错吗?会,前提是使用机器人的人建立了一套机制,能够追究他们对这些错误的责任。












