Anderson의 관점
Adobe와 Meta, 컴퓨터 비전 연구에서 사용자 연구의 오남용 비판

핵심 포인트컴퓨터 비전 분야의 크라우드소싱 사용자 연구는 종종 비판적으로 사고하기보다는 원하는 답을 추론하는 작업자들에 의해 악용됩니다.
더 보기
- 컴퓨터 비전 분야의 크라우드소싱 사용자 연구는 종종 비판적으로 사고하기보다는 원하는 답을 추론하는 작업자들에 의해 악용됩니다.
- 리뷰어들은 점점 더 사용자 연구를 의지할 대상으로 요구하며, 저자들에게 부실한 논문을 위해 의미 없는 평가를 만들어내도록 압박합니다.
- 연구자들은 실제 환경에서 목표 사용자를 모집해야 하며, 연구 결과의 편향을 방지하기 위해 출력물을 '우리 방법'으로 표시하는 것을 피해야 합니다.
Adobe (ADBE )와 Meta는 워싱턴 대학교와 함께 컴퓨터 비전(CV) 연구에서 사용자 연구의 오용과 남용이 증가하고 있다고 주장하며 광범위한 비판을 발표했다.
사용자 연구는 한때 주로 참여 학술기관의 캠퍼스 주변 주민이나 학생을 대상으로 했지만, 이제는 거의 전적으로 Amazon Mechanical Turk(AMT) 같은 온라인 크라우드소싱 플랫폼으로 옮겨갔다.
새 논문은 여러 문제를 지적한다. 연구 프로젝트가 논문 심사자의 요구 때문에 사용자 연구를 수행하도록 압박받고, 연구 설계가 부실하거나 프로젝트의 논리상 필요하지 않은 연구가 발주되기도 한다는 것이다. 또한 문제를 실제로 생각하는 대신 원하는 답을 알아내는 냉소적인 크라우드워커들이 연구를 조작하는 경우도 있다고 주장한다.
새 논문의 중심을 이루는 15쪽 분량의 논고(제목: 컴퓨터 그래픽스와 비전에서 더 나은 사용자 연구를 향하여)는 크라우드소싱 사용자 연구가 이미지 인식과 이미지 합성 같은 컴퓨터 비전 하위 분야의 발전을 실제로 방해할 수 있다는 점을 비롯해 여러 문제를 비판한다.
논문은 사용자 연구와 관련된 훨씬 넓은 문제를 다루지만, 가장 날카로운 비판은 사용자 연구의 출력 평가가 전체 분야에 악영향을 줄 수 있다는 점에 향한다. 이는 보수를 받는 크라우드워커들이 새 이미지 합성 알고리즘의 출력 등에 가치 판단을 내리는 방식이다.
주요 논점 몇 가지를 살펴보자.
선정적인 해석
논문은 컴퓨터 비전 분야의 연구자들에게 결과를 신중하게 해석하라고 권고한다. 2021년의 한 새 연구가 사람들이 AI 생성 예술작품을 정확히 식별할 수 없다고 주장했을 때, 이 결과가 대중매체에서 널리 왜곡되어 보도된사례를 든다.

새 논문이 사례로 인용한 Harsha Gangadharbatla의 2021년 논문 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’에 관한 주요 언론 보도. 여기서 Daily Mail의 출처는 The Times(유료 구독 필요)다. 출처: Daily Mail(보관 링크) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
저자들은 다음과 같이 말한다*:
‘심리학 학술지에 실린 한 연구에서는 전통적인 예술작품 이미지와 AI 기술로 만든 이미지를 웹에서 수집하고, 크라우드워커들에게 각 이미지의 출처를 구별하도록 했다. 결과를 바탕으로 사람들이 AI 생성 예술작품을 정확히 식별할 수 없다는 결론을 내렸지만, 이는 실험에서 직접 도출되지 않는 매우 광범위한 결론이다.’
‘더구나 논문은 구체적으로 어떤 이미지 집합을 수집하거나 사용했는지 설명하지 않는다. 따라서 그 주장을 검증하고 재현하기가 어렵거나 불가능하다.’
‘더 우려되는 것은 대중매체가 이 결과를 보도하면서 AI가 인간만큼 독립적으로 예술을 창작할 수 있다는 오해의 소지가 있는 주장을 했다는 점이다.’
부정행위를 하는 크라우드워커에 대처하기
크라우드소싱 작업자들은 대개 노력에 비해 많은 보수를 받지 못한다. 이들의 경력 발전 기회는 제한적이며, 많은 작업을 끝내는 것이 수입을 늘리는 최선의 방법이기 때문에, 연구에 따르면다음 작은 일거리로 넘어갈 수 있도록 현재 작업을 빨리 끝내는 지름길을 택하려는 사람이 많다.
논문은 크라우드워커들이 기계학습 시스템처럼 연구자가 설계한 사용자 연구의 반복 패턴을 학습하고, 자료에 대한 진정한 자발적 반응 대신 ‘정답’이나 ‘원하는 답’을 추론할 수 있다고 지적한다.
따라서 ‘검증 시행’ 또는 ‘센티널’이라고도 하는 점검을 권한다. 이는 작업자가 주의를 기울이는지, 무작위로 클릭하는지, 아니면 선택지를 생각하지 않고 시험에서 스스로 추론한 패턴을 따르는지 알아보기 위해 삽입한 통제용 시험 부분이다.
저자들은 다음과 같이 설명한다:
‘예를 들어 양식화된 이미지 쌍에서 한 이미지는 의도적으로, 그리고 객관적으로 품질이 낮은 결과일 수 있다. 분석할 때 미리 정한 횟수만큼 점검을 통과하지 못한 참가자의 데이터는, 해당 참가자가 부주의하거나 일관성이 없었다고 보고 제외할 수 있다.’
‘이 점검은 연구에 무작위로 삽입하고 다른 시행과 똑같아 보여야 한다. 그렇지 않으면 참가자가 어떤 시행이 점검인지 알아낼 수 있다.’
부정행위를 하는 연구자에 대처하기
연구자도 의도적으로든 아니든 이러한 조작에 가담할 수 있다. 자신이 원하는 선택을 크라우드워커들에게 암시할 방법이 많고, 본인도 모르게 그렇게 할 수 있다.
예를 들어 연구에서 ‘이상적인’ 답을 얻기 쉬운 프로필의 작업자를 골라, 덜 선별되고 더 무작위적인 집단에서는 성립하지 않을 가설을 겉으로 입증할 수 있다고 논문은 지적한다.
질문의 표현도 핵심 문제다:
‘문구는 상위 목표를 반영해야 한다. 예를 들어 “어느 이미지의 얼굴 영역에 색상 결함이 더 적은가?”보다 “어느 이미지에 시각적 아티팩트가 더 적은가?”라고 해야 한다. 반대로 부정확한 과제 문구는 해석의 여지를 너무 많이 남긴다. “어느 이미지가 더 좋은가?”는 실제로 “어느 이미지가 더 사실적인가?”를 평가하려는 의도였어도 “어느 이미지가 미적으로 더 보기 좋은가?”로 이해될 수 있다.’
또 다른 겉보기에는 무해한 영향 방식은 참가자에게 제시된 선택지 가운데 어느 것이 기존 방법이나 무작위 표본이 아니라 저자의 방법인지 명시적 또는 암묵적으로 알려주는 것이다.
논문은 다음과 같이 설명한다*:
‘참가자들은 의식적으로든 아니든 연구자가 원한다고 생각하는 답을 할 수 있다. 이를 좋은 참가자 효과(good subject effect)라고 한다. 출력에 “우리 방법” 또는 “기존 방법” 같은 이름을 붙이지 말아야 한다. 연구 세션을 진행하는 연구자의 권한 같은 권력관계, “제가 어제 만든 이 도구가 얼마나 마음에 드시나요?”처럼 참가자를 유도하는 연구자의 언어, 같은 연구실이나 회사에서 일하는 경우처럼 연구자와 참가자 사이의 관계도 편향을 일으킬 수 있다.’
사용자 연구에서 과제를 제시하는 형식도 중립성에 영향을 미칠 수 있다. 나란히 비교할 때 기준 방법이 항상 왼쪽인 ‘이미지 A’에 있고 새 알고리즘 출력이 오른쪽에 있다면, 참가자들은 연구자가 원하는 결과를 점차 짐작하면서 B가 ‘최선’이라고 추론할 수 있다.
‘화면의 이미지 크기나 이미지 사이 거리 같은 다른 제시 요소도 응답에 영향을 줄 수 있다. 몇 가지 다른 설정으로 예비 연구를 하면 이런 잠재적 교란요인을 일찍 발견하는 데 도움이 된다.’
제품에 맞지 않는 참가자
저자들은 크라우드워커가 과거보다 더 일반적인 인력 자원이라고 지적한다. 이전에는 연구자가 지역에서 도움을 구해야 했으며, 연구 참여로 수입을 보충하는 대학 학생들이 흔한 참가자였다.
적극적 참여를 요구하면 고용된 작업자가 시험 중인 제품에 어리둥절하거나 별다른 감흥을 느끼지 않을 여지가 줄어든다. 저자들은 연구자에게 제품이나 서비스를 개발하고 연구로 시험하기 전에 목표 사용자를 파악하라고 권한다. 그렇지 않으면 만들기는 매우 어렵지만 아무도 원하지 않는 것을 개발할 수 있다.
‘컴퓨터 그래픽스나 비전 연구자들이 산업계 전문가에게 연구를 채택시키려다가 목표 사용자의 필요를 해결하지 못한다는 사실을 발견하는 경우를 우리는 자주 보았다. 처음부터 필요를 조사하지 않으면, 사용자가 수개월 또는 수년을 들여 개발한 도구에 필요도 관심도 없다는 사실에 놀랄 수 있다.’
‘이런 도구는 평가 연구에서 성과가 낮을 수 있다. 사용자가 그 기술이 쓸모없거나 무관하거나 예상 밖인 결과를 만든다고 느끼기 때문이다.’
실제로 제품을 사용할 가능성이 있는 사용자를 연구 참가자로 골라야 하며, 그런 사용자를 찾기 어렵거나 비용이 더 많이 들더라도 마찬가지라고 논문은 지적한다.
다소 과거로 돌아가는 방식인 캠퍼스 모집 대신, 관련 공동체에 참여해 실제 사용 환경에서 사용자를 모집하라고 저자들은 권한다.
‘예를 들어 관련 활동이 활발한 온라인 게시판이나 소셜미디어 공동체를 활용할 수 있다. 공동체 구성원 한 명과의 만남도 눈덩이 표집으로 이어질 수 있다. 관련 사용자가 자신의 인맥에서 비슷한 사람을 소개해 주는 방식이다.’
피드백 요청하기
논문은 사용자 연구 참가자에게 정성적 피드백도 요청하라고 권한다. 특히 연구자의 잘못된 가정을 드러낼 수 있기 때문이다.
‘피드백은 연구 설계의 문제를 찾는 데 도움이 될 뿐 아니라 사용자 평점에 영향을 준 예상 밖의 출력 측면을 드러낼 수도 있다. 참가자가 출력에 “매우 불만족”했던 이유는 비현실적이어서인가, 미적이지 않아서인가, 편향되어서인가, 아니면 다른 이유인가?’
‘정성적 정보가 없으면 연구자는 사용자의 근본 문제를 해결하는 대신 알고리즘을 더 사실적으로 만드는 데 매달릴 수 있다.’
논문의 다른 많은 권고처럼 이 권고도 연구자에게 시간과 돈을 더 요구한다. 논문이 비판하는 문화에서는 대개 값싼 크라우드소싱 사용자 연구를 신속하고 사실상 의무적인 기본 절차로 삼으며, 연구 수행 자체가 주도하는 문화가 자리 잡고 있다.
과도한 사용자 연구 요구
논문은 컴퓨터 비전 프리프린트 공동체에서 사용자 연구가 일종의 최소 요건이 되고 있다고 지적한다. 연구를 합리적으로 설계할 수 없는 경우도 예외가 아니다. 예를 들어 아이디어가 너무 새롭거나 주변적이어서 동등한 비교 분석을 할 수 없고, 사용자 연구에서 의미 있는 결과를 낼 합리적 평가 지표도 적용하기 어려울 수 있다.
연구자들은 사용자 연구를 강요하는 사례로, ICLR 2022 논문의 온라인 동료심사를 인용한다(2022년 6월 24일 보관본이며 링크는 새 논문에서 가져왔다)†:
‘두 심사자는 사용자 연구가 없다는 점을 부분적 이유로 매우 낮은 점수를 주었다. 논문은 결국 채택되었으며, 최종 요약은 심사자들이 부실한 심사의 구실로 사용자 연구를 내세웠다고 꾸짖고 출판의 문턱을 부당하게 통제했다고 비판했다. 전체 논의를 읽어 볼 만하다.’
‘최종 결정에서는 해당 제출물이 수년간 실제로 사용되어 온소프트웨어 라이브러리와 수천 명의 사용자를 다뤘다고 밝혔다. 이 정보는 익명 심사를 위해 심사자들에게 공개되지 않았다. 위원회가 이 정보를 몰랐다면 이렇게 큰 영향을 준 시스템을 설명하는 논문이 거절되었을까?’
‘저자들이 사용자 연구를 설계하고 수행하는 추가 노력을 했다면 그 연구는 의미가 있었을까? 심사자들을 설득하기에 충분했을까?’
저자들은 심사자와 편집자가 평가에 실제 의미나 가치가 있는지와 관계없이 제출 논문에 부담스러운 평가 요건을 부과하는 것을 보았다고 말한다.
‘저자와 심사자가 어려운 판단을 피하기 위한 버팀목으로 MTurk 평가를 사용하는 것도 보았다. “이미지가 더 좋은지 모르겠으니 사용자 연구가 도움이 될 것 같다” 같은 심사 의견은 저자에게 부실한 논문을 개선하지도 못할 추가 작업을 요구하므로 해로울 수 있다.’
저자들은 컴퓨터 비전과 컴퓨터 그래픽스 공동체가 사용자 연구 요구를 더 신중하게 검토하라는 행동 촉구로 논문을 마무리한다. 연구 수행 자체가 목적이 되는 문화를 기계적인 기본값으로 만들지 말아야 한다는 것이다. 흥미로운 연구 중에는 가장 수익성이 높거나 생산적인 연구 및 출판 과정에 맞지 않는 경계 사례도 있기 때문이다.
저자들의 결론은 다음과 같다:
‘사용자 연구의 주목적이 새 지식을 얻는 대신 심사자를 달래는 것이라면 저자와 심사자 모두 그 연구의 유용성과 타당성에 의문을 제기해야 한다. 사용자 평가가 없다고 연구를 벌주면 서둘러 부실하게 수행한 사용자 연구를 장려하는 의도치 않은 결과가 생긴다.’
‘기억할 원칙은 부실한 사용자 연구가 나쁜 결과로 이어진다는 것이다. 심사자가 계속 요구한다면 그런 연구는 계속될 것이다.’
* 논문의 본문 인용을 관련 하이퍼링크로 바꾼 것은 이 글 작성자다.
† 이 글 작성자가 추가한 강조이며, 논문 저자들의 강조가 아니다.
최초 게시: 2022년 6월 24일.












