ノラ・ペトロバ、Prolificのマシンラーニングエンジニア＆AIコンサルタント – インタビューシリーズ

ノラ・ペトロバは、Prolificのマシンラーニングエンジニア＆AIコンサルタントです。Prolificは2014年に設立され、すでにGoogle、スタンフォード大学、オックスフォード大学、キングス・カレッジ・ロンドン、欧州委員会などの組織が顧客として参加し、新しい製品のテスト、AIシステムのトレーニング、人間向けAIアプリケーションの開発を行っています。

あなたのProlificでのバックグラウンドとキャリアについて少しお話しください。AIに興味を持ったきっかけは何ですか？

私の役割は、AIのユースケースと機会についてアドバイスすることと、よりハンズオンのMLエンジニアとしての仕事を分け持ちしています。私はソフトウェアエンジニアリングのキャリアから始め、徐々にマシンラーニングに移行しました。過去5年間のほとんどをNLPのユースケースと問題に費やしています。

私が初めてAIに興味を持ったのは、データから学び、人間の学習と脳の構造との関連性を見つけたときでした。私は、MLと神経科学が互いに補完し、AIシステムが世界をナビゲートし、創造性を示し、社会に価値をもたらす方法を理解するのに役立つと考えています。

あなたが直接認識しているAIの偏見に関する問題は何ですか？

偏見は、AIモデルに与えるデータに内在しています。完全に除去することは非常に難しいですが、データに含まれる偏見を認識し、有害な偏見を軽減する方法を見つけることが重要です。私たちが直面している最大の問題は、モデルが有害な固定観念、体系的な偏見、社会における不正義を永続させていることです。AIモデルが使用される方法と、ユーザーへの影響を考慮し、重要なユースケースに使用する前に安全であることを確認する必要があります。

AIモデルが有害な偏見を示した主な分野には、学校や大学の入学審査で代表性のないグループが差別されること、性別の固定観念が女性の採用に悪影響を与えることなどがあります。また、米国の刑事司法アルゴリズムは、アフリカ系アメリカ人の被告を「高リスク」と誤ってラベル付けする割合が、白人の被告よりも約2倍高かったことがわかりました。一方、顔認識技術は、代表的なトレーニングデータが不足しているため、少数派に対するエラー率が依然として高いままです。

上記の例は、AIモデルが示した偏見の小さなサブセットをカバーしています。私たちは、偏見を軽減することに焦点を当てないと、将来に大きな問題が生じる可能性があることを予測できます。AIモデルは、人間の意思決定が影響する未チェックされた無意識の偏見によって、データに含まれる偏見から学習するため、人間の意思決定者に頼るだけでは偏見を除去できないことが多いです。真正に偏見を軽減するには、データに含まれる偏見を理解し、偏った予測に寄与する要因を分離し、重要な決定を下す基準を集団的に決定する必要があります。モデルを安全に使用する前に評価するための基準を開発することは、前向きなステップになります。

生成的なAIの場合、AIの幻覚は大きな問題です。人間がループ内にいる（HITL）トレーニングがこれらの問題をどのように軽減できるかについて説明してください。

AIモデルにおける幻覚は、特定の生成的なAIのユースケースでは問題ですが、幻覚自体が問題であるわけではありません。創造的なAIの使用では、幻覚は歓迎され、より創造的で興味深い応答に貢献します。

しかし、事実情報への依存が高いユースケースでは、幻覚は問題になります。たとえば、医療では、医療専門家に信頼性の高い事実情報を提供することが重要です。

HITLとは、人間がモデルに対して、一定の信頼度以下の予測に対する直接のフィードバックを提供するシステムを指します。幻覚の文脈では、HITLは、モデルがさまざまなユースケースで応答を出力する前に持つべき信頼度レベルを学習するのに役立ちます。これらの閾値は、ユースケースによって異なります。たとえば、法的なユースケースでは、人間はAIモデルに、複雑な法的文書に基づく質問に答える際に事実確認が必要なステップであることを示すことができます。

AIワーカーであるデータアノテーターは、潜在的な偏見の問題をどのように軽減するのですか？

AIワーカーは、データに含まれる偏見を特定するのに役立ちます。偏見が特定されると、軽減するための戦略を立てることが容易になります。データアノテーターは、偏見を軽減するための方法を提案するのにも役立ちます。たとえば、NLPタスクの場合、アノテーターは、問題のあるテキストのスニペットを代替の方法で表現することで、言語に含まれる偏見を軽減するのに役立ちます。また、AIワーカーの多様性は、ラベリングにおける偏見の問題を軽減するのに役立ちます。

AIワーカーが人間の偏見をAIシステムに意図せずに与えないようにするにはどうすればよいですか？

これは、慎重な考慮を必要とする複雑な問題です。人間の偏見を除去することはほぼ不可能です。AIワーカーは、無意識の偏見によってAIモデルに偏見を与える可能性があります。したがって、ベストプラクティスに従うためのプロセスを開発することが重要です。

人間の偏見を最小限に抑えるために取ることができるステップには、以下のものがあります。

• AIワーカーに対する無意識の偏見のトレーニングと、偏見を特定して管理するためのツールの提供。
• AIワーカーが回答を提出する前に検証するためのチェックリスト。
• AIワーカーがさまざまな種類の偏見の例を見て、最も偏っていない回答を選択するアセスメントの実施。

世界中の規制当局は、AIの出力を規制することを意図しています。規制当局は何を誤解しているか、そして何を正しく理解しているかについてあなたの見解を教えてください。

これは非常に難しい問題であり、まだ誰も解決策を見つけてはいません。社会とAIは、お互いに予測不可能な方法で影響し合い、業界に与える影響も予測不可能です。効果的な規制戦略を見つけるには、AIの進化と、AIがさまざまな業界に与える影響を注意深く観察する必要があります。

私は、AIの規制において大きな障害は、AIモデルが何をできるかできないか、そしてどのように機能するかを理解していないことであると考えています。これにより、モデルがさまざまな業界や社会のさまざまな部分に与える影響を予測することが困難になります。もう1つの欠如している分野は、AIモデルを人間の価値観に整列させる方法と、安全性の具体的な意味についてのリーダーシップです。

規制当局は、AI分野の専門家と協力し、AIの革新を過度に厳格な規制で抑制しないように注意し、AIが雇用の喪失に与える影響を考慮し始めています。これらはすべて重要な焦点です。私たちの考えが時間の経過とともに明確になるにつれて、慎重に進み、多くの人を関与させることが重要です。

Prolificのソリューションは、企業がAIの偏見や他の問題を軽減するのをどのように助けることができますか？

AIプロジェクトのデータ収集は、常に考慮されたプロセスではありませんでした。スクレイピング、オフショアリング、その他の方法が横行していました。しかし、AIをどのようにトレーニングするかは非常に重要です。次世代のモデルは、意図的に収集された、高品質のデータ、リアルな人々からのデータ、直接接触した人々からのデータで構築される必要があります。ここで、Prolificが重要な役割を果たしています。

他の分野、たとえば世論調査、市場調査、科学研究は、長い間これを学んできました。サンプリングする対象は、結果に大きな影響を与えます。AIもついにこれを理解し始めています。私たちは今、分岐点に立ち至っています。

今が、より良いサンプルを使用し始め、AIのトレーニングと改良のためにより代表的なグループと協力することを意識する時です。両方が、安全で、偏っていない、整列したモデルを開発するために重要です。

Prolificは、企業が安全な方法でAIの実験を実施し、偏見をチェックして軽減するプロセスでデータを収集するための適切なツールを提供するのに役立ちます。データの収集、選択、参加者の補償、公平な扱いに関するベストプラクティスのガイダンスも提供できます。

あなたのAIの透明性に関する見解は何ですか？ユーザーは、AIアルゴリズムがどのデータでトレーニングされたかを確認できるべきですか？

私は、透明性にはメリットとデメリットがあり、良いバランスを見つけることができていないと考えています。企業は、訴訟を恐れて、AIモデルをトレーニングするために使用したデータに関する情報を公開していません。他の企業は、AIモデルを公開し、使用したデータに関するすべての情報を公開しています。完全な透明性は、モデル内の脆弱性の悪用の機会を多く開きます。一方、完全な秘密主義は、AIモデルが信頼できるデータでトレーニングされたことをユーザーが信じるのに役立ちません。中間的なアプローチは、信頼を築くために十分な透明性を提供し、ユーザーがAIモデルが適切なデータでトレーニングされたことを確認できるようにする必要があります。私たちは、AIがさまざまな業界に与える影響を注意深く観察し、関係者と対話し、すべての利害関係者にとって機能する慣行を開発する必要があります。

また、ユーザーが説明可能性について何を満足できるものと考えるかを考慮することも重要です。ユーザーがモデルが特定の応答を生成する理由を理解したい場合、モデルがトレーニングされた生のデータを提供することは、質問に答えるのに役立たない可能性があります。したがって、良い説明可能性と解釈可能性ツールを構築することが重要です。

AIの整列研究は、AIシステムを人間の意図した目標、好み、または倫理的原則に向けて導くことを目指しています。AIワーカーがトレーニングされ、AIが可能な限り整列されるようにどのように使用されるかについて説明してください。

これは、まだ合意を見ていない活発な研究分野です。AIモデルを人間の価値観やどの価値観に整列させる戦略については、まだ明確な答えはありません。

AIワーカーは、真摯に自分の好みを表現し、安全性、偏見のない、無害で、役立つという原則に従って、自分の好みに関する質問に正直に答えるよう求められます。

目標、倫理的原則、または価値観への整列については、多くのアプローチが有望です。注目すべき例の1つは、The Meaning Alignment Instituteによるデモクラティック・ファインチューニングの研究です。アイデアを紹介する優れた投稿はこちらにあります。

素晴らしいインタビューとAIの偏見に関するご意見を共有いただき、ありがとうございます。読者がさらに学びたい場合は、Prolificを訪問してください。