Google Research 将人工审议引入主观型 AI 分类器

Google Research 于 2026 年 11 月 4 日发布了 Agile Deliberation，这是一个用于围绕主观类别构建图像分类器的交互式框架，并配有开源代码和笔记本演示。在一项包含 18 场会话的用户研究中，研究人员报告称，与手动改进提示词相比，该框架带来了更出色的分类器效果，也减少了用户付出的精力。

该框架针对的是边界取决于个人判断、文化背景或运营政策的类别，例如健康食品、富有启发性的艺术作品，以及承诺提供误导性奖励的标题党图片。其核心前提是，用户往往会在审视难以判断的示例时，逐渐发现自己的决策边界。传统标注流程会在标注开始前就将这些边界视为固定不变，导致意图变化最终表现为标签不一致或模型作出任意判断。

Agile Deliberation 会将不断演变的定义转化为人类可读的规范，同时也将其用作驱动视觉语言模型分类器的提示词。该设计借鉴了对五位内容审核专家的访谈，以及对其专业工作流程中 20 条定义的定性分析；分析显示，专家会先界定概念范围，再借助边界案例图片对其加以完善。

概念审议的两个阶段

概念界定会将一个初始想法拆分为备选的正向和负向子概念。例如，构建健康食品分类器的用户可以将沙拉和谷物碗纳入范围，同时排除加工食品或未经烹制的生食材。每项选择都有代表性图片作为依据；在创建第一个分类器之前，还可以舍弃那些无法描述有意义视觉模式的子概念。

随后，概念迭代会搜索语义上处于边界地带的图片，而不是单纯挑选模型置信度接近 0.5 的案例。研究人员指出，视觉语言模型的置信度可能无法准确反映人类的模糊判断：模型可能对某张图片很有把握，但人却觉得难以判断。检索到的示例会经过去重和聚类，并采用多臂老虎机规则，优先选择此前曾纠正错误或提供有用反馈的聚类。

歧义挖掘环节会围绕一个易于理解的问题来组织一批图片，例如酱汁是否浓稠、含糖量或分量大小，并简要说明每张图片存在歧义的原因。用户可以将图片标记为符合或不符合范围，也可以用自然语言说明理由。系统会生成多个备选定义，根据迄今收集到的所有标签对其进行测试，选出 F1 分数最高的定义，并允许用户手动修改。

该原型使用 Gemini 2.5 Pro进行分解，并使用 Gemini 2.5 Flash 进行分类、生成边界案例查询和挖掘歧义。这些模型均未经过额外训练或微调；整个界面则通过交互式 Colab 笔记本运行。

实地研究发现

九名没有专业内容审核经验的参与者各自完成了两场时长约 90 分钟的会话，一场使用 Agile Deliberation，另一场采用人工审议；系统使用顺序经过随机安排。测试的两个概念是健康食品和付费诱导式标题党审核。每场会话包括约 45 分钟的定义工作、对 200 张留出测试图片进行标注、一份调查问卷，以及一场 15 分钟的访谈。比较对象还包括零样本分类和自动化分解基线系统 Modeling Collaborator；采用人工审议的参与者可以参考该系统生成的详细提示词。

论文报告称，在付费诱导式标题党审核任务中，Agile Deliberation 的 F1 分数比其零样本基线提高了 11%，而人工审议的 F1 分数比其自身基线提高了 8%。在健康食品任务中，Agile Deliberation 的 F1 分数提高了 10%，人工审议则下降了 3%。这些提升主要来自精确率的提高，同时召回率略有下降。由于参与者个性化的定义导致测试标签分布不均衡，研究没有采用准确率这一指标。

所有参与者都更青睐 Agile Deliberation，而非人工审议。参与者对 Agile Deliberation 的平均投入精力评分为 3.11，人工操作则为 4.67；对感到不安、紧张或烦恼的平均评分分别为 1.67 和 3.00。两项差异均被标记为具有统计显著性（p<.05）。访谈提供了实际层面的解释：采用人工方式的用户必须自行设计搜索来寻找反例，有些人还担心，修改提示词以修正一个错误会损害模型在其他方面的表现。

研究局限与代码可用性

这项评估也存在明确的局限。作者提醒，参与者只有九人，因此统计效力和结果的普遍适用性都受到限制；此外，为避免参与者将已形成的定义带入第二场会话，每个人都在两套系统中使用了不同概念。因此，研究可以在同一参与者内比较主观体验，但只能在不同参与者组之间比较分类器表现。研究没有单独评估各个组件，也没有检验完整流程在其他生成式模型上的表现。

开源代码仓库包含配套代码库和数据集，以及一本面向 Jupyter 或 Google Colab、提供逐步操作说明的 Demo.ipynb 笔记本。该演示会基于 LAION400M 构建最近邻检索索引。默认配置会下载两个分片，总计约 260 MB，用于验证整个流程；文档所述的 100 分片配置总计约 13 GB。检索、从外部下载图像以及调用模型，耗时可能从几秒到几分钟不等；单个 API 密钥可能受到速率限制，且多个阶段支持磁盘缓存。仓库免责声明指出，这并非 Google 官方支持的产品。

Agile Deliberation 的实际贡献，在于将主观意图明确纳入分类器开发，并使其能够修订。用户可以检查正向和负向规则，审视那些暴露出规则缺漏的边缘案例，并为修订提供理由。对于内容审核和策展团队而言，这意味着类别定义以及塑造该定义的人类判断，都成为分类器开发过程中可供审查的部分。