Adobe và Meta lên án lạm dụng nghiên cứu người dùng trong nghiên cứu tầm nhìn máy tính

Adobe và Meta, cùng với Đại học Washington, đã xuất bản một批 phê bình rộng rãi về những gì họ cho là sự lạm dụng và lạm dụng ngày càng tăng của nghiên cứu người dùng trong nghiên cứu tầm nhìn máy tính (CV).

Nghiên cứu người dùng trước đây thường bị giới hạn ở địa phương hoặc sinh viên xung quanh khuôn viên của một hoặc nhiều cơ sở học thuật tham gia, nhưng đã di chuyển gần như toàn bộ sang các nền tảng crowdsourcing trực tuyến như Amazon Mechanical Turk (AMT).

Trong số nhiều bất bình, bài báo mới cho rằng các dự án nghiên cứu đang bị áp lực để sản xuất nghiên cứu bởi các nhà đánh giá bài báo; thường xuyên xây dựng nghiên cứu một cách tồi; ủy thác nghiên cứu mà logic của dự án không hỗ trợ cách tiếp cận này; và thường bị ‘lừa’ bởi những người làm việc đông đảo theo hướng ‘tìm ra’ câu trả lời mong muốn thay vì thực sự suy nghĩ về vấn đề.

Bài báo 15 trang luận văn (đặt tên Hướng tới nghiên cứu người dùng tốt hơn trong đồ họa máy tính và tầm nhìn) bao gồm phần chính của bài báo mới đưa ra nhiều批 phê bình khác về cách nghiên cứu người dùng có thể thực sự ngăn cản sự tiến bộ của các lĩnh vực tầm nhìn máy tính, chẳng hạn như nhận dạng hình ảnh và tổng hợp hình ảnh.

Mặc dù bài báo đề cập đến nhiều vấn đề liên quan đến nghiên cứu người dùng, nhưng những批 phê bình mạnh mẽ nhất của nó được dành cho cách đánh giá đầu ra trong nghiên cứu người dùng (tức là khi con người được trả tiền trong nghiên cứu người dùng để đưa ra phán quyết về giá trị – ví dụ, đầu ra của các thuật toán tổng hợp hình ảnh mới) có thể ảnh hưởng tiêu cực đến toàn bộ lĩnh vực.

Hãy cùng xem một số điểm trung tâm.

Giải thích Sensational

Trong số nhiều gợi ý của bài báo cho những người xuất bản trong lĩnh vực tầm nhìn máy tính, là lời khuyên ‘giải thích kết quả cẩn thận’. Bài báo trích dẫn một ví dụ từ năm 2021, khi một nghiên cứu mới cho rằng ‘cá nhân không thể xác định chính xác tác phẩm nghệ thuật được tạo bởi AI’ đã được đưa tin rộng rãi trong báo chí phổ thông.

Một trong những báo cáo truyền thông nổi bật về bài báo năm 2021 ‘Vai trò của kiến thức thuộc tính AI trong đánh giá tác phẩm nghệ thuật’, của Harsha Gangadharbatla, được trích dẫn như một ví dụ trong bài báo mới. Ở đây, nguồn của Daily Mail là The Times (không công khai). Nguồn: Daily Mail (liên kết lưu trữ) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Các tác giả tuyên bố*:

‘[Trong] một nghiên cứu trong một tạp chí tâm lý, hình ảnh của các tác phẩm nghệ thuật truyền thống và hình ảnh được tạo bởi các công nghệ AI được thu thập từ web, và những người làm việc đông đảo được yêu cầu phân biệt hình ảnh nào đến từ nguồn nào. Từ kết quả, người ta kết luận rằng “cá nhân không thể xác định chính xác tác phẩm nghệ thuật được tạo bởi AI”, một kết luận rất rộng không theo trực tiếp từ các thí nghiệm.

‘Hơn nữa, bài báo không báo cáo chi tiết về các bộ hình ảnh cụ thể được thu thập hoặc sử dụng, khiến cho các tuyên bố khó, nếu không phải là không thể, để xác minh và tái tạo.

‘Đáng lo ngại hơn là báo chí phổ thông đã đưa tin về những kết quả này với các tuyên bố sai lệch rằng AI có thể độc lập tạo ra nghệ thuật cũng như con người.’

Xử lý những người làm việc đông đảo gian lận

Những người làm việc đông đảo được trả tiền không nhiều cho nỗ lực của họ. Vì triển vọng của họ tối thiểu, và tiềm năng kiếm tiền tốt nhất của họ là thông qua việc hoàn thành một lượng lớn nhiệm vụ, nhiều người trong số họ là, nghiên cứu cho thấy, có khuynh hướng lấy bất kỳ ‘phương pháp tắt’ nào sẽ đẩy nhanh nhiệm vụ hiện tại để họ có thể chuyển sang nhiệm vụ nhỏ tiếp theo.

Bài báo quan sát rằng những người làm việc đông đảo, giống như các hệ thống học máy, sẽ học các mẫu lặp lại trong các nghiên cứu người dùng mà các nhà nghiên cứu xây dựng, và đơn giản là suy đoán ‘câu trả lời chính xác’ hoặc ‘câu trả lời mong muốn’, thay vì tạo ra một phản ứng hữu cơ thực sự đối với tài liệu.

Để thực hiện điều này, bài báo khuyên nên thực hiện các kiểm tra trên những người làm việc đông đảo, cũng được gọi là ‘thử nghiệm xác thực’ hoặc ‘sentinel’ – hiệu quả, các phần giả của một bài kiểm tra được thiết kế để xem liệu người làm việc có đang chú ý, nhấp ngẫu nhiên, hoặc đơn giản là theo một mẫu mà họ đã suy đoán từ các thử nghiệm, thay vì suy nghĩ về lựa chọn của họ.

Các tác giả tuyên bố:

‘Ví dụ, trong trường hợp của các hình ảnh được cách điệu, một hình ảnh của cặp có thể là một kết quả chất lượng kém có chủ ý và khách quan. Trong quá trình phân tích, dữ liệu từ các tham gia viên không đạt được số lượng kiểm tra trước đã có thể bị loại bỏ, giả định rằng chúng được tạo bởi các tham gia viên không chú ý hoặc không nhất quán.

‘Những kiểm tra này nên được chèn ngẫu nhiên vào nghiên cứu, và nên xuất hiện giống như các thử nghiệm khác; nếu không, các tham gia viên có thể tìm ra các thử nghiệm nào là các kiểm tra.’

Xử lý các nhà nghiên cứu gian lận

Với hoặc không có ý định, các nhà nghiên cứu có thể là đồng phạm trong loại ‘gian lận’ này; có nhiều cách cho họ, có thể ngay cả vô tình, để ‘gửi tín hiệu’ các lựa chọn mong muốn của họ đến những người làm việc đông đảo.

Ví dụ, bài báo quan sát, bằng cách chọn những người làm việc đông đảo có hồ sơ có thể dẫn đến việc thu được ‘câu trả lời lý tưởng’ trong một nghiên cứu, danh nghĩa chứng minh một giả thuyết có thể đã thất bại trên một nhóm ít ‘chọn lọc’ và tùy ý hơn.

Ngôn ngữ cũng là một vấn đề chính:

‘Ngôn ngữ nên phản ánh các mục tiêu cấp cao, ví dụ, “hình ảnh nào chứa ít hơn các artifact?” thay vì “hình ảnh nào chứa ít hơn các khuyết tật màu trong vùng mặt?” Ngược lại, ngôn ngữ nhiệm vụ không chính xác để lại quá nhiều cho việc giải thích, ví dụ, “hình ảnh nào tốt hơn?” có thể được hiểu là “hình ảnh nào đẹp hơn về mặt thẩm mỹ?” trong khi ý định có thể là để đánh giá “hình ảnh nào thực tế hơn?”

Một cách khác để ‘tác động tích cực’ đến các tham gia viên là để họ biết, một cách rõ ràng hoặc ngầm định, cái nào trong các lựa chọn trước mặt họ là phương pháp của tác giả, thay vì một phương pháp trước đó hoặc mẫu ngẫu nhiên.

Bài báo tuyên bố*:

‘[Các] tham gia viên có thể trả lời với những câu trả lời mà họ nghĩ các nhà nghiên cứu muốn, có ý thức hoặc không, điều này được gọi là “hiệu ứng chủ đề tốt”. Không nên gắn nhãn đầu ra với tên như “phương pháp của chúng tôi” hoặc “phương pháp hiện có”. Các tham gia viên có thể bị thiên vị bởi động lực quyền lực (tức là nhà nghiên cứu nắm giữ quyền lực bằng cách chạy phiên nghiên cứu), các nhà nghiên cứu sử dụng ngôn ngữ để kích hoạt các tham gia viên (ví dụ, “bạn thích công cụ này mà tôi xây dựng昨ngày hôm qua?”), và mối quan hệ giữa các nhà nghiên cứu và các tham gia viên (ví dụ, nếu cả hai làm việc trong cùng một phòng thí nghiệm hoặc công ty).’

Định dạng của một nhiệm vụ trong một nghiên cứu người dùng cũng có thể ảnh hưởng đến tính trung lập của nghiên cứu. Các tác giả lưu ý rằng nếu, trong một trình bày song song, baseline được đặt nhất quán ở bên trái (tức là ‘hình ảnh A’) và đầu ra của thuật toán mới ở bên phải, các tham gia viên nghiên cứu có thể suy đoán rằng B là ‘lựa chọn tốt nhất’, dựa trên sự suy đoán ngày càng tăng của họ về kết quả mong muốn của các nhà nghiên cứu.

‘Các khía cạnh trình bày khác như kích thước của hình ảnh trên màn hình, khoảng cách giữa chúng, v.v. có thể ảnh hưởng đến phản hồi của các tham gia viên. Việc thí điểm nghiên cứu với một số thiết lập khác nhau có thể giúp phát hiện những yếu tố混 hợp tiềm năng này sớm.’

Sai người cho sản phẩm sai

Các tác giả quan sát tại một số điểm trong bài báo rằng những người làm việc đông đảo là một nguồn lực ‘thường’ hơn so với những gì đã được dự kiến trong những thập kỷ trước, khi các nhà nghiên cứu buộc phải tìm kiếm sự giúp đỡ ở địa phương, thường từ sinh viên của các cơ sở học thuật tham gia, những người bổ sung thu nhập của họ thông qua sự tham gia nghiên cứu.

Yêu cầu tham gia tích cực để lại cho người làm việc đông đảo ít phòng để ‘không bị ảnh hưởng’ bởi một sản phẩm họ đang thử nghiệm, và các tác giả của bài báo khuyên các nhà nghiên cứu xác định người dùng mục tiêu trước khi phát triển và thử nghiệm một sản phẩm hoặc dịch vụ tiềm năng – nếu không, rủi ro tạo ra một thứ gì đó rất khó tạo ra, nhưng không ai thực sự muốn.

‘Thật vậy, chúng tôi đã chứng kiến nhiều nhà nghiên cứu đồ họa máy tính hoặc tầm nhìn cố gắng để nghiên cứu của họ được các nhà thực hành công nghiệp áp dụng, chỉ để phát hiện ra rằng nghiên cứu không giải quyết nhu cầu của người dùng mục tiêu. Các nhà nghiên cứu không thực hiện tìm kiếm nhu cầu tại đầu vào có thể sẽ ngạc nhiên khi thấy người dùng có nhu cầu hoặc quan tâm đến công cụ mà họ đã dành nhiều tháng hoặc nhiều năm để phát triển.

‘Những công cụ như vậy có thể hoạt động kém trong các nghiên cứu đánh giá, vì người dùng có thể thấy rằng công nghệ tạo ra kết quả không hữu ích, không liên quan hoặc không mong muốn.’

Bài báo quan sát thêm rằng người dùng thực sự có khả năng sử dụng một sản phẩm nên được chọn cho các nghiên cứu, ngay cả khi họ không dễ tìm (hoặc, có lẽ, không rẻ).
Thay vì quay lại việc tuyển dụng trên khuôn viên (điều này sẽ là một bước đi ngược lại), các tác giả đề xuất rằng các nhà nghiên cứu ‘tuyển dụng người dùng trong tự nhiên’, tham gia với các cộng đồng liên quan.

‘Ví dụ, có thể có một bảng tin trực tuyến hoạt động hoặc cộng đồng truyền thông xã hội có thể được tận dụng. Ngay cả việc gặp một thành viên của cộng đồng cũng có thể dẫn đến lấy mẫu tuyết, trong đó người dùng liên quan cung cấp các kết nối đến các cá nhân tương tự trong mạng lưới của họ.’

Thu thập phản hồi

Bài báo cũng khuyên nên thu thập phản hồi định tính từ những người đã tham gia vào các nghiên cứu người dùng, không chỉ vì điều này có thể có khả năng暴 lộ các giả định sai của các nhà nghiên cứu.

‘Những điều này có thể giúp gỡ lỗi nghiên cứu, nhưng chúng cũng có thể tiết lộ các khía cạnh không mong muốn của đầu ra đã ảnh hưởng đến xếp hạng của người dùng. Người tham gia có “rất không hài lòng” [sic] với đầu ra vì nó không thực tế, không đẹp, thiên vị, hoặc vì một lý do khác?

‘Không có thông tin định tính, nhà nghiên cứu có thể làm việc để tinh chỉnh thuật toán để trở nên thực tế hơn, thay vì giải quyết vấn đề người dùng cơ bản.’

Giống như nhiều khuyến nghị trong suốt bài báo, khuyến nghị cụ thể này liên quan đến việc chi tiêu thêm thời gian và tiền bạc từ phía các nhà nghiên cứu, trong một văn hóa mà, công việc quan sát, đang mặc định là các nghiên cứu người dùng được crowdsourced nhanh chóng và hầu như bắt buộc, thường khá rẻ, và phù hợp với một văn hóa nghiên cứu được đưa ra mà bài báo chỉ trích xuyên suốt.

Quá nghiên cứu

Bài báo đề xuất rằng các nghiên cứu người dùng đang trở thành một loại ‘yêu cầu tối thiểu’ trong cộng đồng tầm nhìn máy tính trước khi in, thậm chí trong các trường hợp mà một nghiên cứu không thể được hình thành một cách hợp lý (ví dụ, với một ý tưởng mới hoặc biên giới mà không có ‘phân tích tương tự’ để tiến hành, và có thể không dễ bị ảnh hưởng bởi bất kỳ metric nào có thể tạo ra kết quả có ý nghĩa trong một nghiên cứu người dùng).

Làm ví dụ về ‘bắt nạt nghiên cứu’ (không phải cụm từ của các tác giả), các nhà nghiên cứu trích dẫn trường hợp của một bài báo ICLR 2022 mà các đánh giá của người cùng ngành là có sẵn trực tuyến (ảnh chụp lưu trữ được thực hiện vào ngày 24 tháng 6 năm 2022; liên kết được lấy trực tiếp từ bài báo mới)^†:

‘Hai người đánh giá đã đưa ra rất nhiều điểm số tiêu cực một phần do thiếu nghiên cứu người dùng. Bài báo cuối cùng đã được chấp nhận, đi kèm với một bản tóm tắt chỉ trích các người đánh giá vì sử dụng “nghiên cứu người dùng” như một cái cớ cho việc đánh giá kém, và buộc tội họ kiểm soát. Cuộc thảo luận đầy đủ đáng được đọc.

‘Quyết định cuối cùng lưu ý rằng bản gửi mô tả một thư viện phần mềm đã được triển khai trong nhiều năm, với hàng nghìn người dùng (thông tin này không được tiết lộ cho các người đánh giá để xem lại ẩn danh). Liệu bài báo – mô tả một hệ thống có tác động cao – có bị từ chối nếu ủy ban không có thông tin này?

‘Và, nếu các tác giả đã đi qua nỗ lực thêm để tạo và thực hiện một nghiên cứu người dùng, nó có ý nghĩa và có đủ để thuyết phục các người đánh giá?’

Các tác giả tuyên bố rằng họ đã thấy các người đánh giá và biên tập viên áp đặt ‘yêu cầu đánh giá khó khăn’ cho các bài báo được gửi, mặc dù những đánh giá đó có thể không có ý nghĩa hoặc giá trị thực sự.

‘Chúng tôi cũng đã quan sát thấy các tác giả và người đánh giá sử dụng đánh giá MTurk như một điểm tựa để tránh đưa ra quyết định khó khăn. Các bình luận của người đánh giá như “Tôi không thể nói liệu hình ảnh có tốt hơn hay không, có thể một nghiên cứu người dùng sẽ giúp” có thể có hại, khuyến khích các tác giả thực hiện thêm công việc sẽ không cải thiện một bài báo thiếu sót.’

Các tác giả kết thúc bài báo với một ‘lời kêu gọi hành động’ trung tâm, cho cộng đồng tầm nhìn máy tính và đồ họa máy tính để xem xét đầy đủ hơn các yêu cầu của họ về nghiên cứu người dùng, thay vì để một văn hóa nghiên cứu được đưa ra phát triển như một mặc định, mặc dù ‘các trường hợp ngoại lệ’ mà một số công việc thú vị nhất có thể không phù hợp với một số đường ống nghiên cứu và gửi hàng có lợi nhuận hoặc thành công nhất.

Các tác giả kết luận:

‘[Nếu] mục tiêu chính của việc chạy nghiên cứu người dùng là để làm hài lòng các người đánh giá chứ không phải để tạo ra kiến thức mới, thì tính hữu ích và tính hợp lệ của những nghiên cứu người dùng như vậy nên được đặt câu hỏi bởi cả các tác giả và người đánh giá. Trừng phạt công việc không chứa đánh giá người dùng có hậu quả không mong muốn là khuyến khích nghiên cứu người dùng được thực hiện vội vàng,

‘Một nguyên tắc cần nhớ là “nghiên cứu người dùng kém dẫn đến kết quả kém”, và nghiên cứu như vậy sẽ tiếp tục nếu các người đánh giá tiếp tục yêu cầu nó.’

* Tôi đã chuyển đổi các trích dẫn nội tuyến của bài báo thành các liên kết liên quan
^†  Nhấn mạnh của tôi, không phải của các tác giả.

Được xuất bản lần đầu vào ngày 24 tháng 6 năm 2022.