Amazon Mechanical Turk, 미국 최저 임금의 40% 미만 지불, 연구 제안

미국과 멕시코 연구원의 연구 결과에 따르면 Amazon Mechanical Turk 시장의 크라우드 소싱 근로자는 75%가 미국에 기반을 둔원격 근무자는 근무 시간의 2.83분의 39.5을 작업 요청 목록을 스캔하고 지불을 관리하고 기타 작업을 수행하는 데 소비하기 때문에 시간당 중앙값 $7.25에 불과합니다. 이것은 연방 의무 최저 임금인 시간당 $XNUMX의 약 XNUMX%입니다. 일종의 '보이지 않는 노동'.

조사 결과는 최근 보고서 University of Massachusetts Amherst에서 'turker'가 되는 것과 관련된 낮은 수준의 급여와 혜택을 비판하고 AMT 생태계를 자금이 부족한 학술 연구원을 위한 저질 작업장으로 효과적으로 특징지었습니다.

2005년에 출시된 Amazon Mechanical Turk(AMT)는 이미지 인식, 자연어 처리(NLP)와 같은 작업을 위한 '저렴한' 연구 그룹의 맥락에서 기계 학습 연구자가 자주 활용하는 임시 인간 지능 작업(HIT)을 크라우드워커에게 제공합니다. 알고리즘을 공식화하거나 테스트하는 데 도움이 되도록 설계된 평가 및 기타 체계적이고 프로그래밍적인 작업(서비스도 광범위하게 사용됨) 스팸을 생성하기 위해).

MTurk의 보이지 않는 노동

새로운 공부제목 크라우드 워크의 보이지 않는 노동량 정량화, 보스턴의 노스이스턴 대학교, 마이크로소프트 리서치, 멕시코 국립 자치 대학교(UNAM)의 연구원들이 수행했습니다.

100주일 동안 40,000개 이상의 HIT 작업에서 XNUMX명의 근로자가 수행한 보이지 않는 노동의 정도. 출처 : https://arxiv.org/pdf/2110.00169.pdf

이 논문은 작업을 위해 수행된 현장 연구에서 입증된 바와 같이 터커 작업 시간의 33%를 구성하는 '보이지 않는 노동'의 정도를 자세히 설명합니다. 가장 많은 '잃어버린' 시간은 AMT 작업자가 작업에 대한 지불을 받았는지 확인하기 위해 지불 세부 정보를 검사하는 데 소비하는 시간으로 표시되었습니다. 보고서는 '우리 연구에 참여한 근로자의 97%는 직원 대시보드의 소득 섹션을 방문하는 동안 보이지 않는 노동을 실행했습니다(아마도 공정한 급여를 받았는지 확인하기 위해).'.

투르크족에게 두 번째로 큰 시간 낭비는 실제로 작업을 얻는 데 필요한 '과도한 경계'였습니다. 여기서 작업자는 요청자의 프로필 페이지를 새로 고치고 AMT HIT 목록 섹션에 광고된 새 작업을 검색했습니다.

터크 모니터링

연구원들은 Chrome 확장 프로그램을 개발했으며 이후 GitHub에서 사용 가능,에 근거하여 선행 연구 AMT 근로자의 주의 습관을 연구했지만 보이지 않는 노동에 대한 평가는 다루지 않았습니다. 확장 프로그램은 100주일 동안 총 40,903개의 HIT를 수행한 XNUMX명의 Mechanical Turk 작업자 시스템에 설치되었습니다.

확장 기능의 주요 작업은 작업자가 HIT 작업에 소요하는 실제 시간을 평가하는 것이며 이를 위해 현재 터커가 집중하고 있는 페이지의 HTML 콘텐츠를 스크래핑 및 구문 분석하여 AMT 관련 페이지의 상태를 모니터링합니다. , 작업자와 그것의 상호 작용을 이해하기 위해. 이 확장 기능은 또한 MTurk 도메인의 브라우저 이벤트와 각 페이지의 상태(예: 활성, 비활성, 닫힘)를 기록하는 시간 기반 백그라운드 프로세스를 제공합니다.

이 시스템에서 모니터링되는 시간 소모적 측면에는 '자격' 상태를 확인하는 작업자(최근 완료된 작업이 자신을 '업그레이드'했는지 확인하여 더 나은 품질의 HIT에 액세스할 수 있도록 함); 가능한 다음 작업을 식별하고 원하지 않는 작업을 제외하기 위해 검색 필터를 사용하여 HIT 게시물의 눈사태를 통해 '물러나고 정렬'합니다. '사기성' HITS를 필터링하고 일반적으로 대기 중인 HIT를 관리/감시합니다.

지연 및 드래그

시스템은 또한 '지연' 이벤트와 '잘못된 시작'을 인식합니다. HIT를 '미리보기'하거나 HIT에 대한 정보를 읽는 데 걸리는 시간; 작업의 요구 사항을 더 잘 이해하기 위해 HIT 발신자에게 메시지를 보냅니다. Mechanical Turk 도움말 페이지에서 일반 플랫폼 도움말을 읽습니다.

매우 시간이 많이 걸리는 '지급' 범주에서 조사에 따르면 AMT 작업자는 대시보드에서 급여를 받았는지 자주 확인했습니다. 절대 말하지 마라; 새로운 지불 발표와 달리 MTurk 대시보드의 전용 섹션이 있는 수입 보기 그리고 '시간 초과'되는 HIT 수행 – 작업자가 할당된 시간 내에 HIT를 완료하지 못하고 수행된 작업에 대해 지불을 받지 못하는 경우(연구원이 느끼는 범주는 '지불' 섹션에 있어야 함).

보이지 않는 노동이 이전에 추정 된 작업 세션을 고려할 때 AMT 근로자의 중간 임금($3.76)이 39.5% 감소했으며, 작업 세션 동안 무급 작업에 얼마나 많은 시간을 소비했는지에 대한 근로자의 인식이 모니터링 세션이 나타내는 것보다 현저히 낮습니다.

저자는 작업에 대한 엄격하게 '보수적인' 접근 방식을 보장하고 결과가 과장되었다는 비난을 피하기 위해 방법론적 결과에서 모든 추정치를 반올림했음을 언급합니다. 그들은 다음과 같이 결론을 내립니다.

'(보이지 않는 노동을 고려하지 않고) 근로자의 시급 중간값이 $3.76에 불과하다는 점을 고려할 때, 이 노동 박람회를 고려하기 전에 크라우드 근로자의 임금을 극적으로 인상해야 한다는 것은 분명합니다. 그러나 이는 요청자뿐만 아니라 플랫폼, 작업자, 심지어 정책 입안자도 고려해야 할 사항입니다.'

기계 터크 노동자의 상태

다른 저자와 조직은 평균 AMT 근로자가 실제로 새 보고서에서 추정한 것보다 적게 벌고 있다고 추정합니다. $ 1 시간.

AMT의 이점을 옹호하는 사람들은 AMT 근로자의 낮은 보수에 대한 논란이 과장된 것이라고 상대적 빈도로 주장합니다. 하나 공부 2020년부터 미국 MTurk 근로자의 일부를 조사한 결과 'MTurk에 있는 사람들의 재정 상황은 일반 인구를 반영합니다.', 그리고 그 터커 'MTurk의 유연성을 시간당 25달러 미만으로 거래하지 않을 것'.

이 작업은 CloudResearch(이전 TurkPrime)의 직원이 수행했으며, CloudResearch의 서비스에는 '연구원이 Mechanical Turk에 대한 연구를 실행할 수 있는 도구'가 포함됩니다.

AMT 근로자는 독립 계약자로 간주되기 때문에 일반적으로 미국 노동법의 적용을 받지 않습니다. 2016년 측량 Pew Research 센터에 따르면 AMT 근로자의 절반 이상(52%)은 시간당 $4.99 미만을 보고했으며, 휴일이나 병가 없이 풀타임으로 일한다고 가정하면 연간 $10,379.20에 해당합니다.

설문 조사에 따르면 많은 근로자에게 Mechanical Turk는 수입의 '전부 또는 대부분'을 나타내며 이 범주의 Turker는 특징적으로 더 젊고 교육 수준이 낮으며 소득이 낮은 가정에서 살았습니다.

그러나 설문 조사에 따르면 터키인은 일반적으로 평균적인 미국 근로자보다 교육 수준이 높았으며 미국 성인 근로자의 51%에 비해 36%가 대학 학위를 가지고 있다고 보고했습니다. AMT 근로자의 12%만이 고등학교 이하의 학력만 있으면 됩니다.

올바른 물건?

Pew 보고서는 또한 일반적인 AMT 작업자는 대부분의 학술 연구가 활용하려는 '보통 사람'과 정반대일 수 있으며, 그들의 비정상적인 응답이 기계 학습 프로젝트의 품질을 잠재적으로 편향시키거나 저하시킬 수 있는 정도에 대한 암시를 나타냅니다. 터커에 의존합니다.

Pew 보고서에 따르면 터커는 '전반적인 미국인을 대표하지 않으며 심지어 일하는 성인을 대표하지도 않습니다.'.

또한 이전(2014)의 연구를 언급합니다. 공부, 이는 AMT 근로자가 너무 많은 실험과 설문 조사의 대상이 되어 이러한 유형의 작업의 양이 '근로자들에게 특정 유형의 답변을 요구하거나 그들이 받게 될 질문 유형에 지나치게 익숙해지도록 할 수 있습니다.' – 효과적으로, AMT 작업의 어려움은 터커가 진정성 있고 학문적으로 제공하는 것보다 '시스템을 만족시키는' 전문가가 되도록 기울일 것입니다(또는 심지어 임상 적으로) 유용한 입력.