記事執筆

Prolific の機械学習エンジニア兼 AI コンサルタント、Nora Petrova – インタビューシリーズ

公開済み

5ヶ月前

2023 年 12 月 15 日

Nora Petrova は、機械学習エンジニア兼 AI コンサルタントです。多作。 Prolific は 2014 年に設立され、すでに Google、スタンフォード大学、オックスフォード大学、キングスカレッジロンドン、欧州委員会などの組織を顧客に数えており、参加者のネットワークを利用して新製品のテスト、視線追跡などの分野で AI システムのトレーニングを行っています。人間向けの AI アプリケーションが作成者の意図どおりに動作しているかどうかを判断します。

Prolific での経歴とこれまでのキャリアについて情報を共有していただけますか? AIに興味を持ったきっかけは何ですか？

Prolific での私の役割は、AI のユースケースと機会に関するアドバイザーと、より実践的な ML エンジニアに分かれています。私はソフトウェアエンジニアリングでキャリアをスタートし、徐々に機械学習に移行してきました。私は過去 5 年間のほとんどを NLP のユースケースと問題に集中して費やしてきました。

私が最初に AI に興味を持ったのは、データから学習する能力と、人間としての学習方法や脳の構造との関連性でした。 ML と神経科学は相互に補完し合い、世界をナビゲートし、創造性を発揮し、社会に価値を付加できる AI システムを構築する方法についての理解をさらに深めることができると思います。

あなたが個人的に認識している最大の AI バイアスの問題は何ですか?

AI モデルに入力するデータにはバイアスが内在しており、それを完全に除去することは非常に困難です。ただし、社会における重要なタスクをモデルに任せる前に、データに存在するバイアスを認識し、有害な種類のバイアスを軽減する方法を見つけることが不可欠です。私たちが直面している最大の問題は、社会に有害な固定観念、体系的な偏見、不正義を永続させるモデルです。これらの AI モデルがどのように使用されるか、またユーザーに与える影響に留意し、機密性の高いユースケースで承認する前に安全であることを確認する必要があります。

AI モデルが有害なバイアスを示している顕著な分野としては、学校や大学への入学における過小評価されたグループの差別や、女性の採用に悪影響を与える性別固定観念などが挙げられます。これだけでなく、刑事司法アルゴリズムは、米国の白人被告に誤ったラベルを付けた場合のほぼ XNUMX 倍の割合で、アフリカ系アメリカ人の被告を「高リスク」と誤ったラベルを付けていたことが判明しました。一方、顔認識技術は依然として、次のような理由によりマイノリティに対する高い誤り率に悩まされています。代表的なトレーニングデータが不足している。

上記の例は、AI モデルによって実証されたバイアスの小さなサブセクションをカバーしていますが、今バイアスの軽減に注力しなければ、将来的により大きな問題が発生することが予測されます。 AI モデルは、チェックされていない無意識のバイアスの影響を受けた人間の意思決定によるこれらのバイアスを含むデータから学習することに留意することが重要です。多くの場合、人間の意思決定者に委ねてもバイアスは解消されない可能性があります。真にバイアスを軽減するには、モデルのトレーニングに使用するデータにバイアスがどのように存在するかを理解し、偏った予測に寄与する要因を分離し、重要な決定を何に基づいて行うかを集団で決定する必要があります。一連の標準を開発し、機密性の高いユースケースに使用される前にモデルの安全性を評価できるようにすることは、重要な前進となります。

AI の幻覚は、あらゆるタイプの生成 AI にとって大きな問題です。方法について話し合っていただけますかヒューマンインザループ (HITL) トレーニングはこれらの問題を軽減できますか?

AI モデルにおける幻覚は、生成 AI の特定のユースケースで問題になりますが、それ自体は問題ではないことに注意することが重要です。生成 AI の特定の創造的な使用法では、幻覚は歓迎され、より創造的で興味深い反応に貢献します。

事実情報への依存度が高いユースケースでは、問題が発生する可能性があります。たとえば、医療分野では、確固たる意思決定が鍵となるため、医療専門家に信頼できる事実情報を提供することが不可欠です。

HITL は、一定の信頼レベルを下回る予測について、人間がモデルに直接フィードバックを提供できるシステムを指します。幻覚のコンテキスト内では、HITL を使用して、モデルが応答を出力する前に、さまざまなユースケースに対して必要な確実性のレベルを学習するのに役立ちます。これらのしきい値は、ユースケースと教育モデルによって異なります。異なるユースケースからの質問に答えるために必要な厳密さの違いは、問題のある種類の幻覚を軽減するための重要なステップとなります。たとえば、法的ユースケース内で、多くの条項や条件が含まれる複雑な法的文書に基づいて質問に答える際に、事実確認が必須のステップであることを人間が AI モデルに示すことができます。

データアノテーターなどの AI ワーカーは、潜在的なバイアスの問題を軽減するのにどのように役立ちますか?

AI ワーカーは何よりもまず、データに存在するバイアスを特定するのに役立ちます。バイアスが特定されると、緩和戦略を考案するのが容易になります。データアノテーターは、バイアスを軽減する方法を考えるのにも役立ちます。たとえば、NLP タスクの場合、言語に存在するバイアスが軽減されるように、問題のあるテキストの断片を表現する別の方法を提供することで役立ちます。さらに、AI ワーカーの多様性は、ラベル付けにおける偏見の問題を軽減するのに役立ちます。

AI ワーカーが意図せずに人間の偏見を AI システムに送り込んでいないようにするにはどうすればよいでしょうか?

確かに、慎重な検討が必要な複雑な問題です。人間のバイアスを排除することはほぼ不可能であり、AI ワーカーが意図せずそのバイアスを AI モデルにフィードバックしてしまう可能性があるため、ワーカーをベストプラクティスに導くプロセスを開発することが重要です。

人間の偏見を最小限に抑えるために実行できる手順には、次のようなものがあります。

AI ワーカーに無意識の偏見に関する包括的なトレーニングを提供し、ラベル付けの際に自分自身の偏見を特定して管理する方法に関するツールを提供します。
AI ワーカーに、回答を提出する前に自分自身の回答を検証するよう促すチェックリスト。
AI ワーカーの理解度をチェックする評価を実行します。そこでは、さまざまな種類のバイアスにわたる回答の例が示され、最もバイアスの少ない回答を選択するよう求められます。

世界中の規制当局は AI の出力を規制しようとしていますが、規制当局は何を誤解していると思いますか?また、規制当局の認識は何が正しいと思いますか?

これは本当に難しい問題であり、誰も解決策を見つけていないということから始めることが重要です。社会と AI は両方とも進化し、予想するのが非常に困難な方法で相互に影響を及ぼします。堅牢で有用な規制慣行を見つけるための効果的な戦略の一部は、AI で何が起こっているのか、人々がそれにどのように反応しているのか、AI がさまざまな業界にどのような影響を与えているのかに注意を払うことです。

AI を効果的に規制する上での大きな障害は、AI モデルで何ができて何ができないのか、またどのように機能するのかを理解していないことだと思います。これにより、これらのモデルが社会のさまざまな分野や部門に与える影響を正確に予測することがさらに困難になります。欠けているもう XNUMX つの領域は、AI モデルを人間の価値観に合わせる方法や、安全性がより具体的にどのようなものであるかに関する思想的リーダーシップです。

規制当局はAI分野の専門家との連携を模索し、AIに関する厳しすぎるルールでイノベーションを抑制しないように注意し、AIが雇用の喪失に及ぼす影響を検討し始めており、これらはすべて非常に重要な焦点分野である。 AI 規制に関する私たちの考えが時間の経過とともに明らかになるにつれて慎重に議論し、この問題に民主的な方法でアプローチするにはできるだけ多くの人を巻き込むことが重要です。

Prolific ソリューションは、企業が AI バイアスやこれまで議論してきたその他の問題を軽減するのにどのように役立つのでしょうか?

AI プロジェクトのデータ収集は、常に検討または熟議されたプロセスではありませんでした。私たちはこれまで、スクレイピング、オフショアリング、その他の手法が蔓延しているのを目にしてきました。ただし、AI をどのようにトレーニングするかが重要であり、次世代モデルは、実際の人々や直接接触している人々から意図的に収集された高品質のデータに基づいて構築される必要があります。ここで Prolific が実績を上げています。

世論調査、市場調査、科学研究などの他の分野では、ずっと前にこのことを学びました。サンプリングする対象者は、得られる結果に大きな影響を与えます。 AIが追いつき始めており、私たちは今岐路にさしかかっています。

今こそ、AI のトレーニングと改良のために、より優れたサンプルを使用し、より代表的なグループと協力することに気を配り始める時期です。どちらも、安全で偏りのない調整されたモデルを開発するために重要です。

Prolific は、企業が AI 実験を安全な方法で実施し、参加者からデータを収集し、途中でバイアスがチェックおよび軽減される適切なツールを提供するのに役立ちます。データ収集、参加者の選択、報酬、公平な扱いに関するベストプラクティスに関するガイダンスの提供をお手伝いします。

AI の透明性についてはどのような見解をお持ちですか。AI アルゴリズムがどのようなデータに基づいてトレーニングされているかをユーザーが確認できるようにすべきですか?

透明性については賛否両論があり、まだバランスが取れていないと思います。企業は訴訟を恐れて、AIモデルのトレーニングに使用したデータに関する情報を差し控えている。他の企業は、AI モデルを一般公開することに取り組み、使用したデータに関するすべての情報を公開しました。完全な透明性により、これらのモデルの脆弱性を悪用する多くの機会が開かれます。完全な秘密は、信頼を構築し、安全な AI の構築に社会を巻き込むのに役立ちません。適切な中間点は、AI モデルが同意した質の高い関連データに基づいてトレーニングされているという信頼を与えるのに十分な透明性を提供します。私たちは、AI がさまざまな業界にどのような影響を与えているかに細心の注意を払い、影響を受ける当事者とオープンに対話し、すべての人にとって有効な実践方法を確実に開発する必要があります。

説明可能性の観点からユーザーが満足するものを考慮することも重要だと思います。モデルが特定の応答を生成する理由を理解したい場合、モデルがトレーニングされた生データを提供しても、質問への回答には役立たない可能性が高くなります。したがって、優れた説明可能性と解釈可能性のツールを構築することが重要です。

AI アライメント研究は、AI システムを人間の意図した目標、好み、または倫理原則に向けて導くことを目的としています。 AI ワーカーのトレーニング方法と、AI を可能な限り最適に調整するためにこれをどのように利用するかについて説明していただけますか?

これは活発な研究分野ですが、AI モデルを人間の価値観に合わせるためにどのような戦略を使用すべきか、さらにはどの価値観に合わせるべきかについてもまだコンセンサスが得られていません。

AI ワーカーは通常、安全性、偏見の欠如、無害性、有用性に関する原則を遵守しながら、自分の好みを真に表現し、自分の好みに関する質問に正直に答えることが求められます。

目標、倫理原則、または価値観に向けた調整に関しては、有望と思われるアプローチが複数あります。注目すべき例の XNUMX つは、The Meaning Alignment Institute による次の研究です。民主主義の微調整。このアイデアを紹介する素晴らしい投稿がありますこちら.

素晴らしいインタビューと、AI バイアスに関するご意見を共有していただきありがとうございます。さらに詳しく知りたい読者は、こちらをご覧ください。多産の.