アドビとメタ、コンピュータビジョン研究におけるユーザー研究の誤用を非難

アドビとメタは、ワシントン大学と共同して、コンピュータビジョン（CV）研究におけるユーザー研究の誤用と悪用が増加していることを批判する内容の論文を発表しました。

ユーザー研究は、もともと、参加する学術機関のキャンパス周辺の地元の人や学生に限定されていましたが、現在はオンラインのクラウドソーシングプラットフォームであるAmazon Mechanical Turk（AMT）などのプラットフォームに移行しています。

論文では、研究プロジェクトが論文の査読者から研究を圧力をかけられていること、研究が不適切に設計されていること、研究が論理的に支持されていないこと、そしてクラウドワーカーが研究の目的を推測して「正しい」答えを出していることなど、多くの問題点を指摘しています。

15ページにわたる論文（「コンピュータグラフィックスとビジョンのためのより良いユーザー研究に向けて」）は、クラウドソーシングされたユーザー研究が、実際にはコンピュータビジョンのサブセクターの進歩を妨げている可能性があることを示唆しています。

論文では、ユーザー研究の出力評価（クラウドソーシングされた人間が、新しい画像合成アルゴリズムの出力を評価する場合など）が、全体のセクターに悪影響を与える可能性があることを強調しています。

論文の主要な点をいくつか見てみましょう。

センセーショナルな解釈

論文では、コンピュータビジョンセクターで出版する際の注意点として、結果を慎重に解釈することを警告しています。2021年の研究では、AI生成のアートワークを人間が正確に識別できないという主張が、広く流布されました。

この研究は、AI生成のアートワークと伝統的なアートワークの画像を収集し、クラウドワーカーにどちらがどちらかを判断するように求めました。ただし、研究では、使用された画像セットの詳細や、結果の検証方法については報告されていません。

クラウドワーカーの不正行為への対処

クラウドワーカーは、一般的に、自分の努力に対して十分な報酬を受け取っていません。彼らのProspectsは限られており、タスクを迅速に完了して次のタスクに移ることが、彼らの最善の策です。研究によると、クラウドワーカーは、研究者が望む答えを推測して、本当の有機的な反応ではなく、「正しい」答えを出します。

論文では、クラウドワーカーに対して、バリデーション・トライアル（検証試験）またはセンチネル（監視員）を実施することを推奨しています。つまり、クラウドワーカーが注意を払っているか、ランダムにクリックしているか、またはパターンに従っているかを確認するためのフェイクの試験です。

研究者の不正行為への対処

研究者は、クラウドワーカーと同様に、不正行為に関与する可能性があります。研究者は、クラウドワーカーに望ましい答えを示唆することができます。たとえば、クラウドワーカーのプロフィールを選択して、理想的な答えを得ることができます。

また、研究者は、タスクのフォーマットや言語を使用して、クラウドワーカーに望ましい答えを示唆することができます。たとえば、研究者は、クラウドワーカーに「どちらの画像がより美しいですか？」と問う代わりに、「どちらの画像がよりリアルですか？」と問うことができます。

間違った人々を間違った製品に

論文では、クラウドワーカーは、以前よりも「汎用性」の高いリソースになっていることを指摘しています。研究者は、ターゲットユーザーを特定する前に、製品やサービスを開発して研究することが重要です。そうしないと、誰も必要としない製品やサービスを作成することになります。

研究者は、ターゲットユーザーを特定するために、ニーズファインディング（需要調査）を行う必要があります。そうしないと、研究者は、ユーザーが必要としない、または関心のない結果を生み出すことになります。

フィードバックの要請

論文では、ユーザー研究に参加した人々から、質的フィードバックを求めることを推奨しています。そうすることで、研究者は、ユーザーがどのように思ったのか、そして何が影響したのかを理解することができます。

また、研究者は、ユーザー研究の目的が、レビュアーを満足させることではなく、新しい知見を得ることであることを認識する必要があります。そうしないと、ユーザー研究は、意味のない、または不正確な結果を生み出すことになります。

過剰な研究

論文では、ユーザー研究が、コンピュータビジョンコミュニティで「最低限の要件」となっていることを指摘しています。研究者は、ユーザー研究を実施することが、研究の妥当性を証明するために必要であると考えているようです。

しかし、論文では、ユーザー研究が、常に必要または有益であるとは限らないことを示唆しています。研究者は、ユーザー研究の目的と、研究の目標を慎重に検討する必要があります。

論文の著者は、コンピュータビジョンとコンピュータグラフィックスのコミュニティに、ユーザー研究の要求をより慎重に検討するよう呼びかけました。そうすることで、研究者は、より意味のある、より有効な研究を実施することができます。

著者は、ユーザー研究の目的が、レビュアーを満足させることではなく、新しい知見を得ることであることを認識する必要があります。そうしないと、ユーザー研究は、意味のない、または不正確な結果を生み出すことになります。

著者は、ユーザー研究が、研究の妥当性を証明するために必要であるとは限らないことを示唆しています。研究者は、ユーザー研究の目的と、研究の目標を慎重に検討する必要があります。

論文は、コンピュータビジョンとコンピュータグラフィックスのコミュニティに、ユーザー研究の要求をより慎重に検討するよう呼びかけました。そうすることで、研究者は、より意味のある、より有効な研究を実施することができます。

論文の著者は、ユーザー研究の目的が、レビュアーを満足させることではなく、新しい知見を得ることであることを認識する必要があります。そうしないと、ユーザー研究は、意味のない、または不正確な結果を生み出すことになります。

論文は、コンピュータビジョンとコンピュータグラフィックスのコミュニティに、ユーザー研究の要求をより慎重に検討するよう呼びかけました。そうすることで、研究者は、より意味のある、より有効な研究を実施することができます。