Adobe 和 Meta 对计算机视觉研究中用户研究的滥用提出批评

Adobe 和 Meta 与华盛顿大学一起发表了一篇对计算机视觉（CV）研究中用户研究滥用和误用的批评。

用户研究曾经主要局限于当地人或校园周围的学术机构，但现在已经转移到在线众包平台，如亚马逊 Mechanical Turk（AMT）.

在众多的抱怨中，这篇新论文声称研究项目被迫进行用户研究；经常制定不良的研究计划；经常委托不支持这种方法的研究；并且经常被玩世不恭的众包工人“操纵”，他们“弄清楚”期望的答案，而不是真正思考问题。

这篇十五页的论文（题为《计算机图形和视觉中更好的用户研究》）对众包用户研究可能阻碍计算机视觉子领域的发展（如图像识别和图像合成）提出了许多批评。

虽然这篇论文讨论了与用户研究相关的更广泛的问题，但它最强烈的批评是针对用户研究中的输出评估（即众包工人被付费对新图像合成算法的输出进行价值判断）可能对整个行业产生的负面影响。

让我们来看看其中一些关键点。

耸人听闻的解读

这篇论文建议计算机视觉领域的出版者“小心解读结果”。这篇论文引用了2021年的一篇研究，声称“个人无法准确识别AI生成的艺术作品”，但这篇研究在流行媒体中被广泛误解。

2021年论文’The Role of AI Attribution Knowledge in the Evaluation of Artwork’的媒体报道示例

作者指出：

“在一项心理学期刊的研究中，收集了传统艺术品和AI技术生成的图像，并要求众包工人区分哪些图像是来自哪个来源。结果得出结论，‘个人无法准确识别AI生成的艺术作品’，这是一个过于宽泛的结论，不直接来自实验。”

“此外，该论文没有报告收集和使用的具体图像集，使得这些说法很难，如果不是不可能，去验证和复制。”

“更令人担忧的是，流行媒体以误导性的说法报道了这些结果，声称AI可以像人类一样独立创作艺术。”

处理作弊的众包工人

众包工人通常不会因他们的努力而获得很多报酬。由于他们的前景很少，他们的最佳赚钱潜力是通过完成大量任务，因此他们倾向于采取任何可以加快当前任务的“捷径”，以便他们可以转到下一个小任务。

这篇论文观察到，众包工人会像机器学习系统一样，学会用户研究中重复出现的模式，并简单地推断出“正确”或“期望”的答案，而不是产生真正的有机反应。

为此，论文建议进行验证试验或哨兵检查，以确保工人正在关注并真正思考他们的选择。

作者指出：

“例如，在一对风格化图像中，一张图像可以是故意的、客观的低质量结果。在分析中，可以丢弃那些未通过一定数量检查的参与者的数据，假设这些参与者是缺乏关注或不一致的。”

“这些检查应该随机插入研究中，并且应该与其他试验看起来相同；否则，参与者可能会弄清楚哪些试验是检查。”

处理作弊的研究人员

研究人员可能会无意中或故意地“提示”他们期望的选择给众包工人。

例如，论文观察到，通过选择具有特定特征的众包工人来获得“理想”的答案，可能会证明某个假设的正确性，但如果使用更随机的群体，可能会得出不同的结果。

措辞也是一个关键问题：

“措辞应该反映高层次的目标，例如‘哪个图像有较少的伪影？’而不是‘哪个图像的面部区域有较少的颜色缺陷？’相反，模糊的任务措辞留下了太多解释的空间，例如‘哪个图像更好？’可能被理解为‘哪个图像更具美观？’，而实际上打算评估‘哪个图像更真实？’”

研究人员还可以通过让参与者知道哪个选项是他们的方法，而不是先前的方法或随机样本，来“无意中影响”参与者。

作者指出：

“参与者可能会以他们认为研究人员想要的答案作出回应，无论是有意识还是无意识的，这被称为‘好参与者效应’。不要用‘我们的方法’或‘现有方法’等名称标记输出。参与者可能会受到权力动态的影响（即研究人员通过运行研究会话拥有权力），研究人员使用语言来引导参与者（例如‘你昨天喜欢我建造的这个工具吗？’），以及研究人员和参与者之间的关系（例如，如果他们都在同一个实验室或公司工作）。”

任务的格式也会影响研究的中立性。作者指出，如果在并排呈现中，基线始终位于左侧（即“图像A”），而新算法的输出位于右侧，研究参与者可能会推断出B是“最佳”选择，基于他们对研究人员期望结果的日益增长的假设。

“其他呈现方面，例如图像在屏幕上的大小，它们之间的距离等，可能会影响参与者的反应。使用几种不同的设置进行试验可能有助于提前发现这些潜在的混杂因素。”

错误的人为错误的产品

作者在论文的几个地方观察到，众包工人比以前更“通用”，以前的研究人员被迫在当地招募帮助，通常从补充收入的学生中招募。

需要积极参与的要求让被雇用的众包工人几乎没有机会对他们正在测试的产品感到无动于衷，论文的作者建议研究人员在开发和测试潜在产品或服务之前确定他们的目标用户——否则，他们可能会冒着生产出很难创造但没人真正想要的东西的风险。

“的确，我们经常看到计算机图形或视觉研究人员试图让他们的研究被行业从业者采用，但最终发现研究没有解决目标用户的需求。研究人员如果不在开始时进行需求发现，可能会发现用户对他们开发的工具没有需求或兴趣。”

“这样的工具可能在评估研究中表现不佳，因为用户可能会发现该技术产生了无用的、不相关的或意外的结果。”

论文进一步指出，应该选择实际上可能使用产品的用户来进行研究，即使他们不容易找到（或不便宜）。

与其回到校园招聘（这可能是一种倒退），作者建议研究人员“在野外”招募用户，参与相关的社区。

“例如，可能有一个相关的活跃在线论坛或社交媒体社区可以利用。即使只遇到社区中的一个成员，也可能导致雪球采样，即相关用户提供了与他们网络中类似个体的联系。”

征求反馈

这篇论文还建议从参与用户研究的人那里征求定性反馈，这可以潜在地揭示研究人员的错误假设。

“这些可能有助于调试研究，但也可能揭示输出中影响用户评分的意外方面。参与者是否因输出不真实、不美观、有偏见或其他原因而对输出‘非常不满意’？没有定性信息，研究人员可能会改进算法以使其更真实，而不是解决潜在的用户问题。”

与论文中的许多建议一样，这个建议需要研究人员在时间和金钱上进行进一步的投入，在一个默认快速和几乎强制的众包用户研究的文化中，这些研究通常很便宜，并符合正在被批评的研究驱动的文化。

过度研究

这篇论文建议，用户研究正在成为计算机视觉社区中一种“最低要求”，即使在无法合理地制定研究（例如，一个如此新颖或边缘的想法，没有“类似”分析可以进行，并且可能不容易受到任何合理的指标的影响，从而在用户研究中产生有意义的结果）的情况下也是如此。

作为“研究欺凌”的一个例子（不是作者的术语），研究人员引用了一篇ICLR 2022论文的例子，_peer审查可在线获取（存档快照于2022年6月24日；链接直接来自新论文）：

“两位审稿人给出了非常负面的评分，部分原因是缺乏用户研究。该论文最终被接受，并附有一个总结，批评审稿人使用“用户研究”作为糟糕审查的借口，并指责他们搞门槛主义。整个讨论值得一读。”

“最终决定指出，提交的论文描述了一个已经部署了几年的软件库（信息在匿名审查中没有透露给审稿人）。如果委员会没有这些信息，这篇论文——它描述了一个非常有影响力的系统——是否会被拒绝？”

“如果作者们费了很大的劲进行了一项用户研究，它是否会有意义，是否足以说服审稿人？”

作者表示，他们已经看到审稿人和编辑对提交的论文施加了“繁重的评估要求”，尽管这些评估可能没有任何意义或价值。

“我们还观察到作者和审稿人使用MTurk评估作为避免做出艰难决定的拐杖。审稿人的评论，如‘我无法判断图像是否更好，也许用户研究可以帮助’，可能是有害的，鼓励作者进行额外的工作，这不会改善一篇拙劣的论文。”

作者以一个行动号召结束了这篇论文，呼吁计算机视觉和计算机图形社区更全面地考虑他们对用户研究的要求，而不是让研究驱动的文化作为一种默认的做法发展起来，尽管有一些边缘案例，其中一些最有趣的工作可能不适合最有利可图或最有成果的研究和提交管道。

作者总结道：

“如果运行用户研究的主要目标是取悦审稿人，而不是产生新的见解，那么这样的用户研究的效用和有效性应该由作者和审稿人共同质疑。惩罚没有用户评估的工作会产生不良后果，鼓励仓促进行、执行不力的用户研究。”

“一个需要牢记的格言是‘糟糕的用户研究会导致糟糕的结果’，如果审稿人继续要求这样做，这样的研究将会继续下去。”

* 我将论文的内联引用转换为相关的超链接^† 我的强调，不是作者的。

首次发布于2022年6月24日。