AI 内容审核仍在哪些方面需要人工判断

在拥有数百万用户的社区中，有害行为的传播速度可能快于版主识别并处理问题的速度。小型社区可以高度依赖直接观察。版主熟悉经常参与的用户，了解社区文化，通常也能迅速发现扰乱秩序的行为。当社区用户达到数十万或数百万时，人工评估社区活动就会困难得多。子群体开始形成，语言不断演变，有害行为可能在任何人察觉到其模式之前，就已蔓延到多个账户或对话中。

增加版主可以提升处理能力，但每个审核团队的时间和精力都有限。大型社区需要相应的基础设施，持续处理日常活动，及早识别异常行为，并为版主提供足够的背景信息，让他们能专注于需要判断的情况。

因此，社区审核日益成为系统工程的一部分。检测、升级处理、阈值设定、可观测性和反馈机制，都会影响社区在发展壮大时能否保持健康。

规模扩大带来的最大变化，是边缘案例不再罕见。即使某种特定行为只影响极少数用户，在数百万人的社区中，版主也可能不断遇到这类情况。与此同时，版主也无法再逐一了解每次互动，因此，有效的审核越来越依赖于识别行为模式，同时不丢失其背后的背景信息。

规模化审核需要识别行为模式

许多审核工具最初依赖相对简单的触发条件：出现违禁词、用户提交举报，或版主发现违规行为并采取措施。

大型社区会产生更复杂的信号。垃圾信息可能同时来自数十个账户。骚扰行为可能逐渐蔓延到多段对话中。协同滥用行为可能由一些单独看来无害的行为构成。新账户可能在一段时间内表现正常，随后突然发布完全相同的链接或消息。

如果系统能够跨时间段评估行为，就更容易识别这些情况。威胁信号可能包括消息发送频率、重复内容、账户年龄、链接重复情况、发帖活动突然增加、异常的加入模式、以往的处罚记录，以及账户之间的关联。单独一个信号可能说明不了多少问题。多个信号同时出现，则可能表明某种情况值得进一步关注。

例如，英国通信监管机构 Ofcom 曾将自动化内容分类系统纳入更广泛流程进行考察，该流程涵盖数据收集、模型开发、部署、监控和评估。

背景信息会让问题更加复杂。在专业论坛中，短时间内大量发送消息可能意味着垃圾信息；而在直播活动期间，这可能只是正常行为。同样，语言的含义也可能因人际关系、共同的指涉和社区规范而大不相同。

有效的审核基础设施需要可配置的规则、因社区而异的阈值，以及反映历史行为的信号。消息发送频率就是一个很好的例子。用户快速连续发帖可能是在发送垃圾信息，但也可能只是在直播活动或节奏很快的对话中积极参与。如果同一账户还很新，反复发布完全相同的内容，并在多个频道发送同一链接，这些信号组合起来就更有参考价值。

自动化为版主提供更充分的信息

审核团队会花费大量时间处理重复性任务。如果系统掌握的信号足够明确，能够有把握地采取行动，就往往可以自动执行清除垃圾信息、限制链接、检测重复消息、设置频率限制和筛查账户等任务。

当内容含义取决于历史背景、意图、幽默、讽刺、人际关系或文化背景时，人工判断就显得尤为重要。这类情况通常需要有人通盘理解整段对话。设计良好的自动化系统可以整理事件相关信息，从而帮助人们更轻松地作出判断。

审核可疑活动的版主应当能够看到该活动为何被标记。相关信息可能包括近期发帖行为的变化、以往事件、相关举报、重复内容、账户历史，或社区其他地方出现的类似活动。

置信度也可以影响应对方式。对于高度可预测的活动，例如新建账户反复发送完全相同的垃圾信息，可以考虑立即采取行动。对于较为模糊的活动，则可以连同触发警报的相关信号一起提交审核。

其他大型技术系统也普遍采用这种方法。监控基础设施会处理大量活动、识别异常、归集相关信号，并将异常情况升级处理。工程师则会调查需要深入分析的案例。

社区审核也可以采用同样的架构。自动化系统负责处理海量活动并检测行为模式，版主则会收到一组范围更集中的情况，以便进行评估。

我的倾向是，在行为高度可预测时积极采用自动化；但随着情境因素开始变得重要，就应谨慎得多。如果系统要判断某条内容是否为垃圾信息，反复出现的相同消息可能很容易识别；但如果系统要判断某条内容是否构成骚扰、是玩笑，还是彼此熟识的人之间的意见分歧，就更可能需要人工判断。自动化应减少版主需要处理的干扰信息，而不应假装每个需要判断的情况都能简化为一条规则。

强大的内容审核系统会从自身决策中学习

社区行为也在不断变化。新的俚语层出不穷。用户会找到绕过过滤器的方法。垃圾信息手法不断演变。社会规范也会发生变化。今天效果良好的审核规则，可能会随着行为变化而逐渐失效。

审核基础设施需要完善的反馈机制。每一项自动化操作都会产生有用的信息。版主频繁撤销自动化操作，可能表明判定阈值过于敏感。某种反复出现、屡屡逃过检测的滥用行为，可能说明系统缺少相应的识别信号。误报数量异常偏高，则可能表明某条规则在特定环境中的表现不佳。

团队应能够追踪哪些规则触发得最频繁、事件被检测到的速度有多快、自动化操作被撤销的频率有多高，以及哪些行为往往预示着更大规模的混乱。

组织部署自动化系统时，NIST 人工智能风险管理框架也强调要持续进行测量、监控和管理。

可观测性有助于审核系统随着社区变化而调整。游戏社区、专业讨论群组和支持论坛可能会形成截然不同的行为模式。在维持明确保障措施的同时，这些社区的审核阈值也应能够针对各自的差异不断调整。

透明度同样重要。清晰易懂的规则和相对可预测的执行方式有利于用户。版主需要了解辅助其决策的系统如何运作，工程师也需要掌握足够的信息，以判断这些系统是否按预期运行。

未来一代在线社区的发展，将在很大程度上取决于智能自动化、人工判断与持续测量能否协同发挥作用。

大规模内容审核需要相应的基础设施，既能处理海量日常活动、识别个人难以察觉的模式，也能在出现棘手决策时为版主提供更充分的信息。

建设这样的基础设施，需要审慎关注行为信号、置信度阈值、升级处理路径、监控和反馈。具备这些能力的社区，将更有能力在发展壮大的同时，维护让人们持续参与其中的安全、信任和质量。