Andersonの視点
AdobeとMeta、コンピュータビジョン研究でのユーザー調査の誤用・濫用を批判

要点コンピュータビジョンにおけるクラウドソース型ユーザー調査は、批判的に考えるのではなく、望ましい回答を推測するワーカーによってしばしば不正が行われる。
もっと見る
- コンピュータビジョンにおけるクラウドソース型ユーザー調査は、批判的に考えるのではなく、望ましい回答を推測するワーカーによってしばしば不正が行われる。
- 査読者は、頼りない論文に対して意味のない評価を著者に強要する、補助的な手段としてユーザー調査をますます要求するようになっている。
- 研究者は、実際の環境で対象ユーザーを募集し、調査結果のバイアスを防ぐために出力に「我々の手法」というラベルを付けることを避けなければならない。
Adobe (ADBE )とMetaはワシントン大学と共同で、コンピュータビジョン(CV)研究におけるユーザー調査の誤用・濫用が増えているとする広範な批判を発表した。
ユーザー調査は以前、参加する学術機関のキャンパス周辺の住民や学生にほぼ限られていたが、現在ではAmazon Mechanical Turk(AMT)などのオンライン・クラウドソーシング基盤へほぼ全面的に移行している。
新論文は、査読者からの圧力で研究プロジェクトがユーザー調査を実施させられていること、調査設計が不適切な場合が多いこと、研究の論理上その方法が適していないのに調査を発注することを指摘する。また、問題を実際に考える代わりに期待される答えを見抜く冷笑的なクラウドワーカーによって、調査が操作されることもあると主張する。
新論文の中心部分を構成する15ページの論考(題名:コンピュータグラフィックスとビジョンにおける、よりよいユーザー調査に向けて)は、クラウドソーシング型の調査が画像認識や画像合成などの分野の進歩を実際に妨げている可能性をはじめ、多くの問題を批判している。
論文はユーザー調査に関する幅広い問題を扱うが、特に厳しく批判しているのは、ユーザー調査における出力評価が分野全体に悪影響を及ぼす可能性である。これは、新しい画像合成アルゴリズムの出力などについて、報酬を受け取る参加者が価値判断を行う評価を指す。
主な論点をいくつか見てみよう。
センセーショナルな解釈
コンピュータビジョン分野の発表者に対する提言の一つは、結果を慎重に解釈することだ。論文は2021年の新しい研究を例に挙げる。この研究は、人はAI生成の美術作品を正確に識別できないと主張し、その結果は大衆紙で広く歪曲して報じられた。

新論文が例に挙げた、Harsha Gangadharbatlaによる2021年の論文『The Role of AI Attribution Knowledge in the Evaluation of Artwork』に関する注目度の高い報道。ここでDaily Mailが参照したのはThe Times(有料)である。 出典:Daily Mail(保存版リンク)/ https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
著者らは次のように述べる*。
「心理学の学術誌に掲載されたある研究では、従来の美術作品の画像とAI技術で作られた画像をウェブから集め、クラウドワーカーに各画像の出所を判別させた。結果から、人はAI生成の美術作品を正確に識別できないと結論づけたが、これは実験から直接は導けない非常に広い結論である。」
「さらに、具体的にどの画像集合を収集・使用したかが報告されておらず、主張の検証と再現は難しく、場合によっては不可能になる。」
「さらに懸念されるのは、大衆紙がこの結果を、AIは人間と同じように独立して芸術作品を作れるという誤解を招く主張とともに報じたことである。」
不正をするクラウドワーカーへの対処
クラウドソーシングの作業者は、通常その労力に対して高い報酬を受け取っていない。将来の職業上の見通しは限られ、大量の仕事を終えることが収入を増やす最善策であるため、研究が示すように、多くの作業者は次の小さな仕事へ移れるよう、現在の作業を早く終わらせる近道を選びがちだ。
論文は、クラウドワーカーが機械学習システムのように研究者の設計した調査の反復パターンを学び、資料に対する自然な反応を返す代わりに「正解」や「期待される答え」を推測すると指摘する。
そこで、検証試行やセンチネルと呼ばれる確認を推奨している。これは参加者が注意を払っているか、無作為にクリックしているか、選択肢を考えず試行から推測したパターンに従っているだけかを確かめるために、テストへ挿入する統制用の部分である。
著者らは次のように述べる。
「例えば、様式化した画像の対では、一方を意図的かつ客観的に低品質な結果にできる。事前に定めた回数の確認に失敗した参加者のデータは、不注意または不整合な参加者から得たものとみなし、分析時に除外できる。」
「確認は調査へ無作為に挿入し、他の試行と同じ見た目にする必要がある。そうしなければ、参加者がどれが確認用の試行かを見抜いてしまう。」
不正をする研究者への対処
研究者も、意図的かどうかにかかわらず、このような操作に加担しうる。期待する選択をクラウドワーカーへ伝える方法は多く、研究者自身が気づかない場合もある。
例えば、理想の答えを得やすいプロフィールの作業者を選ぶことで、選別の少ない、より無作為な集団では成立しないかもしれない仮説を、表面的には実証できてしまう。
質問の言い回しも重要な問題である。
「文言は上位の目的を反映すべきである。例えば『顔の領域に色の欠陥が少ないのはどちらか』ではなく、『アーティファクトが少ない画像はどちらか』とする。逆に不正確な課題文は解釈の余地を残しすぎる。『どちらの画像がよいか』は、意図が『どちらが現実的か』の評価でも、『どちらが美的に好ましいか』と理解される可能性がある。」
一見無害な形で参加者へ影響する別の方法は、選択肢のどれが既存の方法や無作為なサンプルではなく著者の方法なのかを、明示的または暗黙に知らせることだ。
論文は次のように述べる*。
「参加者は意識的か否かにかかわらず、研究者が望んでいると思う答えを返す場合がある。これはよい被験者効果(good subject effect)と呼ばれる。出力を『我々の方法』『既存の方法』などと名づけてはいけない。研究セッションを運営する研究者の権限という力関係、参加者を誘導する言葉(『昨日私が作ったこの道具はどのくらい気に入りましたか』など)、研究者と参加者の関係(同じ研究室や会社で働く場合など)も偏りを生みうる。」
課題の提示形式も調査の中立性に影響する。並列表示で常に左の『画像A』を基準手法、右を新しいアルゴリズムの出力にすると、参加者は研究者の期待する結果を次第に推測し、Bが最善だと判断しかねない。
「画面上の画像の大きさや画像同士の距離といった提示上の要素も応答に影響する。異なる設定で予備調査を行えば、こうした潜在的な交絡要因を早期に見つけるのに役立つ。」
製品に合わない参加者
著者らは、現在のクラウドワーカーは過去の参加者より汎用的な人材資源だと指摘する。以前は研究者が地元で協力を求める必要があり、参加報酬で収入を補う大学生がよく参加していた。
積極的な参加を要求すると、雇われた作業者が製品に戸惑ったり感心しなかったりする余地は小さくなる。著者らは、製品やサービスを開発・試験する前に対象ユーザーを特定するよう勧める。そうしなければ、作るのは非常に難しいが誰も欲しがらないものを作る危険がある。
「コンピュータグラフィックスやビジョンの研究者が業界の実務家に成果を採用してもらおうとしたものの、対象ユーザーの必要に応えていないと判明する例を、我々はしばしば見てきた。最初にニーズを調べない研究者は、数か月や数年かけて開発した道具にユーザーが必要性も関心も感じないことに驚くかもしれない。」
「こうした道具は、役に立たない、無関係、あるいは予期しない結果を生むとユーザーが感じるため、評価調査で低い成績になる場合がある。」
実際に製品を使う可能性が高いユーザーを、見つけにくかったり費用が高かったりしても、調査対象に選ぶべきだとも指摘する。
やや後戻りになるキャンパスでの募集へ戻るのではなく、関連するコミュニティに参加して、実際の利用環境でユーザーを募集するよう著者らは提案する。
「例えば、活発な関連オンライン掲示板やソーシャルメディアのコミュニティを活用できる。構成員一人と会うだけでも、スノーボール・サンプリングにつながることがある。適切なユーザーが自分の人脈から似た人を紹介する方法である。」
フィードバックを求める
論文は調査参加者に質的なフィードバックも求めるよう推奨する。特に研究者の誤った前提が露わになる可能性があるからだ。
「フィードバックは調査の問題点を見つけるだけでなく、評価に影響した出力の予期しない側面を明らかにすることもある。参加者が出力に『非常に不満』だったのは、非現実的だからか、美しくないからか、偏りがあるからか、それとも別の理由か。」
「質的情報がなければ、研究者はユーザーの根本的な問題を解決せず、アルゴリズムをより現実的にする改良に取り組むかもしれない。」
論文の他の多くの提言と同様、これには追加の時間と費用がかかる。論文が批判する文化では、通常安価なクラウドソーシング型の調査が迅速で事実上義務的な既定手順になり、調査を行うこと自体に左右される文化が形成されつつある。
ユーザー調査の過剰な要求
論文はコンピュータビジョンのプレプリント界でユーザー調査が最低要件になりつつあると指摘する。合理的な調査を設計できない場合も同様だ。例えばアイデアが新しすぎたり周縁的だったりして同等の比較対象がなく、意味ある結果を得る合理的な尺度も適用できない場合がある。
調査を強いる例として(これは著者ら自身の表現ではない)、研究者らはICLR 2022論文の公開された査読を挙げる(2022年6月24日の保存版、リンクは新論文から引用)†。
「二人の査読者は、ユーザー調査がないことを理由の一部として非常に低い点数をつけた。論文は最終的に採択されたが、総括は、査読者が調査を粗悪な査読の口実にしたと叱責し、不当な門番役を担っていると非難した。議論全体は読む価値がある。」
「最終判断は、投稿論文が説明していたソフトウェアライブラリは何年も実際に利用されており、利用者は数千人いたと述べた。この情報は匿名査読のため査読者に明かされていなかった。委員会がこれを知らなければ、大きな影響を与えたシステムを説明するこの論文は却下されていただろうか。」
「著者が追加の労力をかけて調査を設計・実施していたとして、それは意味があり、査読者を説得するのに十分だっただろうか。」
著者らは、その評価に本当に意味や価値があるかどうかにかかわらず、査読者や編集者が負担の大きい評価要件を課す例を見てきたという。
「著者や査読者が、難しい判断を避けるための杖としてMTurk評価を使う例も見てきた。『画像がよくなったか判断できないので、ユーザー調査が役立つかもしれない』という査読意見は、質の低い論文を改善しない追加作業を著者に促すため、有害になりうる。」
著者らは、コンピュータビジョンとコンピュータグラフィックスのコミュニティに、調査要求をもっと慎重に検討するよう呼びかけて結ぶ。調査中心の文化を機械的な既定値として育てるべきではない。最も興味深い仕事の一部は、収益性や生産性の高い研究・投稿の流れに合わない境界事例だからである。
著者らは結論づける。
「ユーザー調査を行う主目的が、新たな知見を得ることではなく査読者をなだめることなら、著者も査読者もその有用性と妥当性を疑うべきである。ユーザー評価がない仕事を罰すると、急いで質の低いユーザー研究を行うよう促すという意図しない結果を生む。」
「覚えておくべき原則は、悪いユーザー研究が悪い結果につながるということだ。査読者が求め続ければ、そのような研究は続く。」
* 論文内の引用を関連ハイパーリンクに変えたのは本記事の筆者。
† この強調は論文著者ではなく本記事の筆者による。
初出:2022年6月24日。












