アンドリュー・ゴードン、シニアリサーチコンサルタント、Prolific – インタビューシリーズ

アンドリュー・ゴードンは、心理学と神経科学の豊富なバックグラウンドを利用して、研究者として洞察を得ています。心理学の学士号、神経心理学の修士号、認知神経科学の博士号を取得し、アンドリューは科学的原理を利用して、消費者の動機、行動、意思決定を理解しています。

Prolificは、研究者によって研究者ために作成され、高品質の人間データと入力を提供するための優れた方法を提供することを目的としています。現在、35,000人以上の研究者が学術分野と産業分野からProlific AIを利用して、決定的な人間データとフィードバックを収集しています。プラットフォームは、信頼性が高く、関与度が高く、公平に扱われる参加者で知られています。新しい研究が3分ごとに開始されています。

認知神経科学のバックグラウンドを活用して、AIを含むプロジェクトを実施する研究者を支援する方法について説明してください。

認知神経科学とは、認知プロセスの生物学的基盤を研究する分野です。神経科学と心理学の原理を組み合わせ、時にはコンピューターサイエンスも含み、脳がさまざまな精神的機能をどのように可能にするかを理解することを目的としています。認知神経科学の研究者は、研究方法論と人間の思考や行動を理解する能力を身に付ける必要があります。これらの2つの側面は、AIの研究開発にも応用できます。ただし、AIの研究は、基礎的なモデルトレーニングやデータ注釈からAIシステムとの人間の相互作用の理解まで、広範な分野を包含する可能性があります。AIを含む研究プロジェクトを実施することは、AIを含まない研究プロジェクトを実施することと同じです。方法論を理解し、研究を設計して最高のデータを作成し、偏りを避けるためにサンプルを選択し、データを分析して研究の質問に答える必要があります。

Prolificは、参加者への倫理的な扱いと公平な報酬を重視しています。参加者への扱いと報酬に関する課題と解決策について、ご説明ください。

私たちの報酬モデルは、参加者が価値を認められ、報酬を受け取ることを目的として設計されています。参加者が研究に深く関与し、より良いデータを提供する動機を与えるためです。

残念ながら、オンラインサンプリングプラットフォームの多くは、これらの原則を遵守していません。参加者プールは、研究に深く関与するのではなく、できるだけ迅速に研究を実施して収益を最大化するようインセンティブ化されています。これにより、低品質のデータが生成されます。Prolificでは、参加者を尊重し、公平な報酬を提供することを目指しています。参加者が研究に深く関与し、より良いデータを提供する動機を与えるためです。

参加者への扱いと報酬に関する課題を克服するには、研究コミュニティに私たちのアプローチの価値を理解してもらう必要があります。また、参加者や研究者からの懸念や質問に迅速かつ公平に対応する必要があります。これらの課題を克服するために、私たちは多大な努力を払っています。

AIの開発における人間のフィードバックの重要性について、特にバイアス検出と社会的推論の改善についてご説明ください。

AIの開発における人間のフィードバックは不可欠です。人間の関与なしでは、バイアスを永続させ、人間の社会的相互作用のニュアンスを無視し、AIに関連する否定的な倫理的考慮事項に対処できません。バイアス検出においては、開発プロセス中に人間のフィードバックを組み込むことが重要です。AIは、可能な限り幅広い視点と価値観を反映する必要があります。人間のフィードバックを利用して、AIシステムを開発し、トレーニングし、テストすることができます。

社会的推論についても同様です。AIは、社会的推論を必要とするタスクに苦労します。人間のフィードバックを利用して、AIシステムを開発し、トレーニングすることができます。Prolificでは、AIモデルに社会的推論のスキルを教えるためのデータセットを開発しました。

人間のフィードバックは、AIシステムの強みと弱みを特定するのに役立ちます。また、開発者が必要な改善と改良を行うことができます。実際の例としては、ChatGPTの動作を見てみましょう。質問に対して、2つの回答を提示し、どちらが最も適切かを尋ねます。これは、開発者が人間の入力を重視し、最も適切な回答を決定するためです。

Prolificは、研究者と参加者をAIトレーニングと研究のために接続する上で重要な役割を果たしています。成功事例やProlificを通じて可能になったAIの重要な進歩についてご説明ください。

商業的な理由から、多くのAIプロジェクトは非公開です。ただし、1つのプロジェクトについては、Remeshとのパートナーシップを紹介できます。Remeshは、AIを活用した洞察プラットフォームです。OpenAIとRemeshと共同で、米国人口の代表的なサンプルを利用したシステムを開発しました。このプロジェクトでは、数千人の個人がAI関連の政策について議論し、広範な視点を反映したAIポリシーを開発することができました。

将来、Prolificは、倫理的なAI開発の実現にどのように貢献する予定ですか。

私の希望は、AIの開発が、データの品質に依存することを認識することです。AIシステムは、トレーニングに使用されるデータの品質に依存します。Prolificでは、参加者を尊重し、公平な報酬を提供することを目指しています。参加者が研究に深く関与し、より良いデータを提供する動機を与えるためです。私たちのアプローチと原則は、研究者が将来、より効果的で信頼性の高いAIシステムを開発することを支援することを目的としています。

高品質の人間によるAIトレーニングデータの収集における最大の課題についてご説明ください。Prolificはこれらの課題をどのように克服していますか。

最大の課題は、データの品質です。低品質のデータは、AIシステムの品質を低下させます。Prolificでは、参加者を尊重し、公平な報酬を提供することを目指しています。参加者が研究に深く関与し、より良いデータを提供する動機を与えるためです。また、参加者の多様性を確保するために、38カ国以上の参加者を擁しています。研究者が参加者の人口統計を事前に指定できるツールも提供しています。

ご協力ありがとうございました。詳しく知りたい読者は、Prolificを訪れてください。