Góc nhìn Anderson
Adobe và Meta chỉ trích việc lạm dụng nghiên cứu người dùng trong nghiên cứu thị giác máy tính

Điểm chínhCác nghiên cứu người dùng theo hình thức cộng đồng trong thị giác máy tính thường bị…
Xem thêm
- Các nghiên cứu người dùng theo hình thức cộng đồng trong thị giác máy tính thường bị người lao động lách luật bằng cách suy luận ra câu trả lời mong muốn thay vì suy nghĩ thấu đáo.
- Người đánh giá ngày càng yêu cầu các nghiên cứu người dùng như một cái nạng, gây áp lực buộc tác giả tạo ra những đánh giá vô nghĩa cho các bài báo thiếu sức thuyết phục.
- Các nhà nghiên cứu phải tuyển dụng người dùng mục tiêu trong môi trường thực tế và tránh gắn nhãn đầu ra là 'phương pháp của chúng tôi' để ngăn chặn sự thiên lệch trong kết quả nghiên cứu.
Adobe (ADBE ) và Meta, cùng với Đại học Washington, đã xuất bản một bài phê bình rộng rãi về những gì họ cho là việc sử dụng sai cách và lạm dụng ngày càng tăng của nghiên cứu người dùng trong nghiên cứu thị giác máy tính (CV).
Nghiên cứu người dùng trước đây thường bị giới hạn ở địa phương hoặc sinh viên xung quanh khuôn viên của một hoặc nhiều cơ sở học thuật tham gia, nhưng đã di chuyển gần như toàn bộ sang các nền tảng crowdsourcing trực tuyến như Amazon Mechanical Turk (AMT).
Trong số nhiều bất bình, bài báo mới cho rằng các dự án nghiên cứu đang bị áp lực để sản xuất nghiên cứu bởi các nhà đánh giá bài báo; thường xuyên xây dựng nghiên cứu một cách tồi; ủy thác nghiên cứu mà logic của dự án không hỗ trợ cách tiếp cận này; và thường bị ‘lừa’ bởi những lao động được tuyển qua nền tảng crowdsourcing theo hướng ‘tìm ra’ câu trả lời mong muốn thay vì thực sự suy nghĩ về vấn đề.
Bài báo 15 trang luận văn (đặt tên Hướng tới nghiên cứu người dùng tốt hơn trong đồ họa máy tính và tầm nhìn) bao gồm phần chính của bài báo mới đưa ra nhiều ý phê bình khác về cách nghiên cứu người dùng có thể thực sự ngăn cản sự tiến bộ của các lĩnh vực thị giác máy tính, chẳng hạn như nhận dạng hình ảnh và tổng hợp hình ảnh.
Mặc dù bài báo đề cập đến nhiều vấn đề liên quan đến nghiên cứu người dùng, nhưng những ý phê bình mạnh mẽ nhất của nó được dành cho cách đánh giá đầu ra trong nghiên cứu người dùng (tức là khi con người được trả tiền trong nghiên cứu người dùng để đưa ra phán quyết về giá trị – ví dụ, đầu ra của các thuật toán tổng hợp hình ảnh mới) có thể ảnh hưởng tiêu cực đến toàn bộ lĩnh vực.
Hãy cùng xem một số điểm trung tâm.
Diễn giải giật gân
Trong số nhiều gợi ý của bài báo cho những người xuất bản trong lĩnh vực thị giác máy tính, là lời khuyên ‘giải thích kết quả cẩn thận’. Bài báo trích dẫn một ví dụ từ năm 2021, khi một nghiên cứu mới cho rằng ‘cá nhân không thể xác định chính xác tác phẩm nghệ thuật được tạo bởi AI’ đã được đưa tin rộng rãi trong báo chí phổ thông.

Một trong những báo cáo truyền thông nổi bật về bài báo năm 2021 ‘Vai trò của kiến thức việc biết tác phẩm do AI hay con người tạo ra trong đánh giá tác phẩm nghệ thuật’, của Harsha Gangadharbatla, được trích dẫn như một ví dụ trong bài báo mới. Ở đây, nguồn của Daily Mail là The Times (sau tường phí). Nguồn: Daily Mail (liên kết lưu trữ) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
Các tác giả tuyên bố*:
‘[Trong] một nghiên cứu trong một tạp chí tâm lý, hình ảnh của các tác phẩm nghệ thuật truyền thống và hình ảnh được tạo bởi các công nghệ AI được thu thập từ web, và những lao động được tuyển qua nền tảng crowdsourcing được yêu cầu phân biệt hình ảnh nào đến từ nguồn nào. Từ kết quả, người ta kết luận rằng “cá nhân không thể xác định chính xác tác phẩm nghệ thuật được tạo bởi AI”, một kết luận rất rộng không theo trực tiếp từ các thí nghiệm.
‘Hơn nữa, bài báo không báo cáo chi tiết về các bộ hình ảnh cụ thể được thu thập hoặc sử dụng, khiến cho các tuyên bố khó, nếu không phải là không thể, để xác minh và tái tạo.
‘Đáng lo ngại hơn là báo chí phổ thông đã đưa tin về những kết quả này với các tuyên bố sai lệch rằng AI có thể độc lập tạo ra nghệ thuật cũng như con người.’
Xử lý những lao động được tuyển qua nền tảng crowdsourcing gian lận
Những lao động được tuyển qua nền tảng crowdsourcing được trả tiền không nhiều cho nỗ lực của họ. Vì triển vọng của họ tối thiểu, và tiềm năng kiếm tiền tốt nhất của họ là thông qua việc hoàn thành một lượng lớn nhiệm vụ, nhiều người trong số họ là, nghiên cứu cho thấy, có khuynh hướng lấy bất kỳ ‘lối tắt’ nào sẽ đẩy nhanh nhiệm vụ hiện tại để họ có thể chuyển sang nhiệm vụ nhỏ tiếp theo.
Bài báo quan sát rằng những lao động được tuyển qua nền tảng crowdsourcing, giống như các hệ thống học máy, sẽ học các mẫu lặp lại trong các nghiên cứu người dùng mà các nhà nghiên cứu xây dựng, và đơn giản là suy đoán ‘câu trả lời chính xác’ hoặc ‘câu trả lời mong muốn’, thay vì tạo ra một phản ứng hữu cơ thực sự đối với tài liệu.
Để thực hiện điều này, bài báo khuyên nên thực hiện các kiểm tra trên những lao động được tuyển qua nền tảng crowdsourcing, cũng được gọi là ‘thử nghiệm xác thực’ hoặc ‘sentinel’ – hiệu quả, các phần giả của một bài kiểm tra được thiết kế để xem liệu người làm việc có đang chú ý, nhấp ngẫu nhiên, hoặc đơn giản là theo một mẫu mà họ đã suy đoán từ các thử nghiệm, thay vì suy nghĩ về lựa chọn của họ.
Các tác giả tuyên bố:
‘Ví dụ, trong trường hợp của các hình ảnh được cách điệu, một hình ảnh của cặp có thể là một kết quả chất lượng kém có chủ ý và khách quan. Trong quá trình phân tích, dữ liệu từ các tham gia viên không đạt được số lượng kiểm tra trước đã có thể bị loại bỏ, giả định rằng chúng được tạo bởi các tham gia viên không chú ý hoặc không nhất quán.
‘Những kiểm tra này nên được chèn ngẫu nhiên vào nghiên cứu, và nên xuất hiện giống như các thử nghiệm khác; nếu không, các tham gia viên có thể tìm ra các thử nghiệm nào là các kiểm tra.’
Xử lý các nhà nghiên cứu gian lận
Với hoặc không có ý định, các nhà nghiên cứu có thể là đồng phạm trong loại ‘gian lận’ này; có nhiều cách cho họ, có thể ngay cả vô tình, để ‘gửi tín hiệu’ các lựa chọn mong muốn của họ đến những lao động được tuyển qua nền tảng crowdsourcing.
Ví dụ, bài báo quan sát, bằng cách chọn những lao động được tuyển qua nền tảng crowdsourcing có hồ sơ có thể dẫn đến việc thu được ‘câu trả lời lý tưởng’ trong một nghiên cứu, danh nghĩa chứng minh một giả thuyết có thể đã thất bại trên một nhóm ít chọn lọc hơn và mang tính ngẫu nhiên hơn.
Ngôn ngữ cũng là một vấn đề chính:
‘Ngôn ngữ nên phản ánh các mục tiêu cấp cao, ví dụ, “hình ảnh nào chứa ít hơn các artifact?” thay vì “hình ảnh nào chứa ít hơn các khuyết tật màu trong vùng mặt?” Ngược lại, ngôn ngữ nhiệm vụ không chính xác để lại quá nhiều cho việc giải thích, ví dụ, “hình ảnh nào tốt hơn?” có thể được hiểu là “hình ảnh nào đẹp hơn về mặt thẩm mỹ?” trong khi ý định có thể là để đánh giá “hình ảnh nào thực tế hơn?”
Một cách khác để ‘tác động tích cực’ đến các tham gia viên là để họ biết, một cách rõ ràng hoặc ngầm định, cái nào trong các lựa chọn trước mặt họ là phương pháp của tác giả, thay vì một phương pháp trước đó hoặc mẫu ngẫu nhiên.
Bài báo tuyên bố*:
‘[Các] tham gia viên có thể trả lời với những câu trả lời mà họ nghĩ các nhà nghiên cứu muốn, có ý thức hoặc không, điều này được gọi là “hiệu ứng người tham gia muốn làm hài lòng nhà nghiên cứu”. Không nên gắn nhãn đầu ra với tên như “phương pháp của chúng tôi” hoặc “phương pháp hiện có”. Các tham gia viên có thể bị thiên vị bởi động lực quyền lực (tức là nhà nghiên cứu nắm giữ quyền lực bằng cách chạy phiên nghiên cứu), các nhà nghiên cứu sử dụng ngôn ngữ để kích hoạt các tham gia viên (ví dụ, “bạn thích công cụ này mà tôi xây dựng ngày hôm qua?”), và mối quan hệ giữa các nhà nghiên cứu và các tham gia viên (ví dụ, nếu cả hai làm việc trong cùng một phòng thí nghiệm hoặc công ty).’
Định dạng của một nhiệm vụ trong một nghiên cứu người dùng cũng có thể ảnh hưởng đến tính trung lập của nghiên cứu. Các tác giả lưu ý rằng nếu, trong một trình bày song song, baseline được đặt nhất quán ở bên trái (tức là ‘hình ảnh A’) và đầu ra của thuật toán mới ở bên phải, các tham gia viên nghiên cứu có thể suy đoán rằng B là ‘lựa chọn tốt nhất’, dựa trên sự suy đoán ngày càng tăng của họ về kết quả mong muốn của các nhà nghiên cứu.
‘Các khía cạnh trình bày khác như kích thước của hình ảnh trên màn hình, khoảng cách giữa chúng, v.v. có thể ảnh hưởng đến phản hồi của các tham gia viên. Việc thí điểm nghiên cứu với một số thiết lập khác nhau có thể giúp phát hiện những yếu tố gây nhiễu tiềm năng này sớm.’
Sai người cho sản phẩm sai
Các tác giả quan sát tại một số điểm trong bài báo rằng những lao động được tuyển qua nền tảng crowdsourcing là một nguồn lực ‘thường’ hơn so với những gì đã được dự kiến trong những thập kỷ trước, khi các nhà nghiên cứu buộc phải tìm kiếm sự giúp đỡ ở địa phương, thường từ sinh viên của các cơ sở học thuật tham gia, những người bổ sung thu nhập của họ thông qua sự tham gia nghiên cứu.
Yêu cầu tham gia tích cực để lại cho lao động được tuyển qua nền tảng crowdsourcing ít phòng để ‘không bị ảnh hưởng’ bởi một sản phẩm họ đang thử nghiệm, và các tác giả của bài báo khuyên các nhà nghiên cứu xác định người dùng mục tiêu trước khi phát triển và thử nghiệm một sản phẩm hoặc dịch vụ tiềm năng – nếu không, rủi ro tạo ra một thứ gì đó rất khó tạo ra, nhưng không ai thực sự muốn.
‘Thật vậy, chúng tôi đã chứng kiến nhiều nhà nghiên cứu đồ họa máy tính hoặc tầm nhìn cố gắng để nghiên cứu của họ được các nhà thực hành công nghiệp áp dụng, chỉ để phát hiện ra rằng nghiên cứu không giải quyết nhu cầu của người dùng mục tiêu. Các nhà nghiên cứu không thực hiện tìm kiếm nhu cầu tại đầu vào có thể sẽ ngạc nhiên khi thấy người dùng không có nhu cầu hoặc hứng thú với công cụ mà họ đã dành nhiều tháng hoặc nhiều năm để phát triển.
‘Những công cụ như vậy có thể hoạt động kém trong các nghiên cứu đánh giá, vì người dùng có thể thấy rằng công nghệ tạo ra kết quả không hữu ích, không liên quan hoặc không mong muốn.’
Bài báo quan sát thêm rằng người dùng thực sự có khả năng sử dụng một sản phẩm nên được chọn cho các nghiên cứu, ngay cả khi họ không dễ tìm (hoặc, có lẽ, không rẻ).
Thay vì quay lại việc tuyển dụng trên khuôn viên (điều này sẽ là một bước đi ngược lại), các tác giả đề xuất rằng các nhà nghiên cứu ‘tuyển dụng người dùng trong tự nhiên’, tham gia với các cộng đồng liên quan.
‘Ví dụ, có thể có một bảng tin trực tuyến hoạt động hoặc cộng đồng truyền thông xã hội có thể được tận dụng. Ngay cả việc gặp một thành viên của cộng đồng cũng có thể dẫn đến lấy mẫu quả cầu tuyết, trong đó người dùng liên quan cung cấp các kết nối đến các cá nhân tương tự trong mạng lưới của họ.’
Thu thập phản hồi
Bài báo cũng khuyên nên thu thập phản hồi định tính từ những người đã tham gia vào các nghiên cứu người dùng, không chỉ vì điều này có thể có khả năng làm lộ các giả định sai của các nhà nghiên cứu.
‘Những điều này có thể giúp gỡ lỗi nghiên cứu, nhưng chúng cũng có thể tiết lộ các khía cạnh bất ngờ của đầu ra đã ảnh hưởng đến xếp hạng của người dùng. Người tham gia có “rất không hài lòng” [sic] với đầu ra vì nó không thực tế, không đẹp, thiên vị, hoặc vì một lý do khác?
‘Không có thông tin định tính, nhà nghiên cứu có thể làm việc để tinh chỉnh thuật toán để trở nên thực tế hơn, thay vì giải quyết vấn đề người dùng cơ bản.’
Giống như nhiều khuyến nghị trong suốt bài báo, khuyến nghị cụ thể này liên quan đến việc chi tiêu thêm thời gian và tiền bạc từ phía các nhà nghiên cứu, trong một văn hóa mà, công việc quan sát, đang mặc định là các nghiên cứu người dùng được crowdsourced nhanh chóng và hầu như bắt buộc, thường khá rẻ, và phù hợp với một văn hóa nghiên cứu được đưa ra mà bài báo chỉ trích xuyên suốt.
Yêu cầu quá nhiều nghiên cứu người dùng
Bài báo đề xuất rằng các nghiên cứu người dùng đang trở thành một loại ‘yêu cầu tối thiểu’ trong cộng đồng thị giác máy tính trước khi in, thậm chí trong các trường hợp mà một nghiên cứu không thể được hình thành một cách hợp lý (ví dụ, với một ý tưởng mới hoặc biên giới mà không có ‘phân tích tương tự’ để tiến hành, và có thể không dễ bị ảnh hưởng bởi bất kỳ metric nào có thể tạo ra kết quả có ý nghĩa trong một nghiên cứu người dùng).
Làm ví dụ về ‘bắt nạt nghiên cứu’ (không phải cụm từ của các tác giả), các nhà nghiên cứu trích dẫn trường hợp của một bài báo ICLR 2022 mà các đánh giá của người cùng ngành là có sẵn trực tuyến (ảnh chụp lưu trữ được thực hiện vào ngày 24 tháng 6 năm 2022; liên kết được lấy trực tiếp từ bài báo mới)†:
‘Hai người đánh giá đã đưa ra rất nhiều điểm số tiêu cực một phần do thiếu nghiên cứu người dùng. Bài báo cuối cùng đã được chấp nhận, đi kèm với một bản tóm tắt chỉ trích các người đánh giá vì sử dụng “nghiên cứu người dùng” như một cái cớ cho việc đánh giá kém, và buộc tội họ kiểm soát. Cuộc thảo luận đầy đủ đáng được đọc.
‘Quyết định cuối cùng lưu ý rằng bản gửi mô tả một thư viện phần mềm đã được triển khai trong nhiều năm, với hàng nghìn người dùng (thông tin này không được tiết lộ cho các người đánh giá để xem lại ẩn danh). Liệu bài báo – mô tả một hệ thống có tác động cao – có bị từ chối nếu ủy ban không có thông tin này?
‘Và, nếu các tác giả đã đi qua nỗ lực thêm để tạo và thực hiện một nghiên cứu người dùng, nó có ý nghĩa và có đủ để thuyết phục các người đánh giá?’
Các tác giả tuyên bố rằng họ đã thấy các người đánh giá và biên tập viên áp đặt ‘yêu cầu đánh giá khó khăn’ cho các bài báo được gửi, mặc dù những đánh giá đó có thể không có ý nghĩa hoặc giá trị thực sự.
‘Chúng tôi cũng đã quan sát thấy các tác giả và người đánh giá sử dụng đánh giá MTurk như một điểm tựa để tránh đưa ra quyết định khó khăn. Các bình luận của người đánh giá như “Tôi không thể nói liệu hình ảnh có tốt hơn hay không, có thể một nghiên cứu người dùng sẽ giúp” có thể có hại, khuyến khích các tác giả thực hiện thêm công việc sẽ không cải thiện một bài báo thiếu sót.’
Các tác giả kết thúc bài báo với một ‘lời kêu gọi hành động’ trung tâm, cho cộng đồng thị giác máy tính và đồ họa máy tính để xem xét đầy đủ hơn các yêu cầu của họ về nghiên cứu người dùng, thay vì để một văn hóa nghiên cứu được đưa ra phát triển như một mặc định, mặc dù ‘các trường hợp ngoại lệ’ mà một số công việc thú vị nhất có thể không phù hợp với một số quy trình nghiên cứu và gửi bài có lợi nhuận hoặc thành công nhất.
Các tác giả kết luận:
‘[Nếu] mục tiêu chính của việc chạy nghiên cứu người dùng là để làm hài lòng các người đánh giá chứ không phải để tạo ra kiến thức mới, thì tính hữu ích và tính hợp lệ của những nghiên cứu người dùng như vậy nên được đặt câu hỏi bởi cả các tác giả và người đánh giá. Trừng phạt công việc không chứa đánh giá người dùng có hậu quả không mong muốn là khuyến khích các nghiên cứu người dùng được tiến hành vội vàng và thực hiện kém chất lượng.”
‘Một nguyên tắc cần nhớ là “nghiên cứu người dùng kém dẫn đến kết quả kém”, và nghiên cứu như vậy sẽ tiếp tục nếu các người đánh giá tiếp tục yêu cầu nó.’
* Tôi đã chuyển đổi các trích dẫn nội tuyến của bài báo thành các liên kết liên quan
† Nhấn mạnh của tôi, không phải của các tác giả.
Được xuất bản lần đầu vào ngày 24 tháng 6 năm 2022.












