初创公司创建人工智能工具来检测电子邮件骚扰

自2017年底Me Too运动兴起以来，性骚扰事件越来越受到关注，包括工作场所骚扰以及通过电子邮件或即时通讯进行的骚扰。

据《卫报》报道人工智能研究人员和工程师一直在创建通过文本通信检测骚扰的工具，称为 MeTooBots。 世界各地的公司正在实施 MeTooBot，以标记潜在的有害和骚扰性通信。 其中一个例子是 Nex AI 公司创建的一款机器人，目前约有 50 家不同的公司正在使用该机器人。 该机器人利用一种算法来检查公司文档、聊天和电子邮件，并将其与欺凌或骚扰消息的训练数据进行比较。 尽管 Nex AI 尚未透露该机器人在其分析的通信中寻找的具体术语，但被认为可能具有骚扰性或有害性的消息可以发送给人力资源经理进行审查。

其他初创公司也创建了人工智能驱动的骚扰检测工具。 人工智能初创公司 Spot 拥有一个聊天机器人，能够让员工匿名举报性骚扰指控。 该机器人将提出问题并提供建议，以收集更多详细信息并进一步调查该事件。 Spot 希望帮助人力资源团队以敏感的方式处理骚扰问题，同时仍确保保留匿名性。

据《卫报》报道，麻省理工学院和哈佛大学人工智能教授 Brian Subirana 解释说，尝试使用人工智能来检测骚扰有其局限性。 骚扰可能非常微妙且难以发现，通常仅以一种模式在检查数周的数据时才会显现出来。 到目前为止，机器人还无法超越某些触发词的检测并分析可能发挥作用的更广泛的人际或文化动态。 尽管检测骚扰很复杂，但 Subirana 确实相信机器人可以在打击网络骚扰方面发挥作用。 Subirana 可以看到这些机器人被用来训练人们在看到骚扰时检测到骚扰，从而创建一个包含潜在问题消息的数据库。 苏比拉纳还表示，这可能存在一种安慰剂效应，使人们不太可能骚扰同事，即使他们怀疑自己的信息可能会受到审查，即使事实并非如此。

虽然 Subirana 确实相信机器人在打击骚扰方面具有潜在用途，但 Subirana 也认为数据和隐私的机密性是一个主要问题。 苏比拉纳表示，如果滥用此类技术，可能会造成不信任和怀疑的气氛。 妇女权利非政府组织福西特协会的首席执行官萨姆·斯梅瑟斯也对机器人可能被滥用表示担忧。 斯梅瑟斯表示：

“我们希望仔细研究该技术是如何开发的、谁是其背后的支持者，以及所采取的方法是否受到旨在防止骚扰和促进平等的工作场所文化的影响，或者实际上是否只是另一种方式来控制他们的员工。”

使用机器人检测骚扰并仍然保护匿名和隐私的方法必须由机器人开发商、公司和监管机构共同制定。 利用机器人和人工智能的预测能力，同时仍然保护隐私的一些可能方法包括保持通信匿名。 例如，机器人可以生成仅包括潜在有害语言的存在以及可能的骚扰性语言出现频率的计数的报告。 然后，人力资源部可以了解在意识研讨会之后有毒语言的使用是否正在减少，或者相反可以确定他们是否应该警惕骚扰的增加。

尽管在检测骚扰时是否适当使用机器学习算法和机器人存在分歧，但双方似乎都同意，对骚扰案件进行干预的最终决定应该由人类做出，并且机器人应该只提醒人们匹配的模式，而不是提醒人们。而不是明确地说某件事是骚扰。