人工智能

亚马逊机械土耳其工人收入不到美国最低工资的40%,研究表明

mm

美国和墨西哥的研究人员研究结果表明,亚马逊机械土耳其(Amazon Mechanical Turk)市场上的众包工人,75%的工人位于美国,他们的收入很低,中位数每小时仅为2.83美元,大约是每小时7.25美元的联邦最低工资的39.5%。这是因为远程工人将他们的工作时间的三分之一花在扫描工作请求列表、管理支付和执行其他“隐形劳动”上。

这些发现是在马萨诸塞大学阿默斯特分校最近的一份报告之后出现的,该报告批评了成为“土耳其工人”的低工资和福利水平,并将AMT生态系统描述为一个低质量的汗工厂,为学术研究人员提供服务。

2005年推出的亚马逊机械土耳其(AMT)为众包工人提供了人工智能任务(HITs),这些任务通常被机器学习研究人员用来进行图像识别、自然语言处理(NLP)评估和其他系统、程序化任务,以帮助制定或测试算法(尽管该服务也被广泛用于生成垃圾邮件)。

MTurk上的隐形劳动

由波士顿东北大学、微软研究院和墨西哥国立自治大学(UNAM)的研究人员进行的新研究,题为《众包工作中的隐形劳动量化》。

100名工人在一周内完成40,000多个HIT任务的隐形劳动程度。来源:https://arxiv.org/pdf/2110.00169.pdf

100名工人在一周内完成40,000多个HIT任务的隐形劳动程度。 来源:https://arxiv.org/pdf/2110.00169.pdf

该论文详细描述了构成工人工作时间33%的“隐形劳动”,这是通过对工作进行的实地研究得出的。工人“丢失”的时间最多的是他们花在检查支付细节以确保他们为任务获得了报酬上的时间。报告指出,《“我们研究中的97%的工人都练习了隐形劳动,访问他们的工人仪表板上的收入部分(可能是为了确保他们公平地获得了报酬)”》。

第二大时间消耗是工人实际获得工作所需的“极度警惕性”,工人刷新请求者的个人资料页面并搜索新的任务广告在AMT HIT列表部分。

监控土耳其工人

研究人员开发了一个Chrome扩展程序,他们已经在GitHub上发布,该扩展程序基于以前的工作,该工作研究了AMT工人的注意力习惯,但没有解决隐形劳动的评估问题。该扩展程序安装在100名参与的机械土耳其工人的系统上,他们在一周内共同完成了40,903个HIT任务。

该扩展程序的主要任务是评估工人在HIT任务上实际花费的时间,并且它通过抓取和解析工人当前关注的页面的HTML内容来监控AMT相关页面的状态,以了解工人与该页面的交互。该扩展程序还具有一个时间驱动的后台进程,用于记录MTurk域上的浏览器事件以及每个页面的状态(即活动、非活动、关闭)。

在该系统中监控的耗时方面包括工人检查“资格”状态(查看最近完成的工作是否“升级”他们,以便他们可以访问更高质量的HIT任务);“浏览和排序”HIT帖子,使用搜索筛选器来识别可能的下一个工作,并排除不需要的工作;以及过滤“欺诈性”HIT任务,并一般管理/监控排队的HIT任务。

延迟和拖延

该系统还识别“延迟”事件和“虚假启动”,例如当工人由于任务与他们的期望不同而返回之前接受的任务到HIT池时;预览HIT任务的时间,或阅读有关HIT任务的信息;向HIT发起者发送消息,以更好地了解任务的要求;以及阅读机械土耳其帮助页面的常规平台帮助。

在“支付”这个非常耗时的类别中,研究发现AMT工人经常会查看他们的仪表板,以检查他们是否收到了报酬,因为完成的工作可能会被拒绝或不支付,工人永远不会被告知原因;查看他们的收入,这有一个专门的MTurk仪表板部分,与新支付的公告相反;以及执行超时的HIT任务——工人未能在规定的时间内完成HIT任务,并且不会为他们在该任务上完成的任何工作获得报酬(研究人员认为这个类别应该在“支付”部分)。

除了报告发现,隐形劳动降低了AMT工人的中位数工资(3.76美元)39.5%,当考虑到工作时间时,还指出工人对他们在一个会话中花费在未付工资工作上的时间的感知显著低于监控会话所显示的时间。

作者指出,他们已经将所有估计值向下舍入,以确保他们的工作方法严谨和“保守”,并避免夸大发现的指控。他们得出结论:

“考虑到工人的中位数小时工资仅为3.76美元(不考虑隐形劳动),很明显,众包工人仍然需要显著增加他们的工资,才能认为这种劳动是公平的。然而,这不仅仅是请求者需要考虑的问题,也是平台、工人,甚至政策制定者需要考虑的问题。”

机械土耳其工人的状态

其他作者和组织估计,平均AMT工人的收入甚至低于新报告中估计的收入——每小时仅为1美元。

一些人认为,围绕AMT工人低工资的争议被夸大了。2020年的一项研究调查了美国MTurk工人的一部分,发现《“MTurk上的人的财务状况反映了总体人群”》,并且Turkers《“不会用每小时25美元以下的价格交换MTurk的灵活性”》。

这项工作是由CloudResearch(前身为TurkPrime)员工进行的,他们的服务包括“允许研究人员在机械土耳其上运行研究”的工具。

由于AMT工人被视为独立承包商,因此他们通常不受美国的劳动法保护。2016年,皮尤研究中心的一项调查发现,超过一半的AMT工人(52%)报告每小时收入不到4.99美元,这相当于假设全职工作没有假期或病假的情况下,每年的收入为10,379.20美元。

对于许多工人来说,调查发现,机械土耳其代表了他们的“全部或大部分”收入,并且这一类别的工人通常年轻、受教育程度较低、家庭收入较低。

然而,调查发现,Turkers通常比平均美国工人更有教育背景,51%的Turkers报告至少拥有大学学位,而美国成年工人中只有36%拥有大学学位——只有12%的AMT工人声称只拥有高中毕业证书或以下。

合适的东西?

皮尤报告还指出,典型的AMT工人可能是学术研究试图利用的“平均人”的完全相反,这对机器学习项目的质量可能产生影响,因为这些项目依赖于Turkers的回应。

皮尤报告的发现指出,Turkers《“不代表美国人,甚至不代表正在工作的成年人”》。

它还指出早期(2014年)的一项研究,表明AMT工人接受了太多实验和调查,这可能会使他们适应某些类型的答案,或者使他们过于熟悉他们将被问到的问题类型——实际上,AMT工作的重复会使Turkers倾向于成为“取悦系统”的专家,而不是提供真实和学术上(甚至临床上)有用的输入。

机器学习作家,人类图像合成领域专家。曾任 Metaphysic.ai 研究内容负责人。
个人网站: martinanderson.ai
联系: [email protected]
Twitter:@manders_ai