ウィルソン・パン、Real World AIの共著者 – インタビュー・シリーズ

ウィルソン・パンは、2018年11月にAppenのCTOとして同社に入社し、会社の製品とテクノロジーを担当しています。ウィルソンには、ソフトウェア・エンジニアリングとデータ・サイエンスの分野で19年以上の経験があります。Appenに入社する前、ウィルソンは中国のCtripでチーフ・データ・オフィサーを務めていました。Ctripは世界で2番目に大きいオンライン旅行会社です。ウィルソンは、データ・エンジニア、分析者、データ・プロダクト・マネージャー、科学者を指導し、ユーザー・エクスペリエンスの向上と運用の効率化を実現し、ビジネスの成長を促進しました。その前、ウィルソンはカリフォルニアのeBayでエンジニアリングのシニア・ディレクターを務め、データ・サービス、ソリューション、検索・サイエンス、 マーケティング・テクノロジー、請求システムなどのさまざまな分野でリーダーシップを提供しました。eBayに入社する前、ウィルソンはIBMでアーキテクトとして働き、さまざまなクライアントのためにテクノロジー・ソリューションを構築しました。ウィルソンは、中国の浙江大学で電気工学の修士号と学士号を取得しています。

彼の新しい本について話し合います： 実践的責任ある機械学習のためのAIの実世界：実践ガイド

あなたは、eBayの検索科学チームを率いていたときの最初の機械学習のレッスンについて説明しています。メトリクスを測定することの重要性を理解することです。例として、セッションあたりの購入数というメトリクスが、アイテムの金銭的価値を考慮していないことが挙げられます。企業は、同様の問題を避けるために、どのようにして必要なメトリクスを理解することができますか？

AIモデルに付与された目標から始めましょう。私たちの場合は、機械学習でより多くの収益を生み出すことを目標としていました。目標にメトリクスを付けたとき、モデルをリリースし、ユーザーがモデルとやり取りし始めたときにどのようなメカニズムが生み出されるかを考えてみましょう。また、仮定も記録しましょう。私たちの場合は、モデルが収益を最適化することを仮定しましたが、セッションあたりの購入数というメトリクスはそれに応えていませんでした。なぜなら、モデルは高頻度の低額購入を最適化していたからです。最終的には、収益の増加にはつながらなかったのです。モデルを正しい方向に導くために、メトリクスを変更することができました。メトリクスを決定することと、仮定を記録することは、プロジェクトの成功に重要です。

あなたは、この本の研究と執筆から何を学びましたか？

さまざまな企業や業界で、AIによって解決できる問題がたくさんあります。ユースケースは非常に異なり、AIソリューションも異なり、AIソリューションをトレーニングするためのデータも異なります。しかし、AIの旅の中で人々が犯したミスは、非常に似ています。さまざまな企業や業界で、同じようなミスが繰り返し起こっています。

AIプロジェクトを実装するためのベストプラクティスを共有し、人々や企業がこれらのミスを避け、責任あるAIをデプロイするための自信を得られるようにします。

読者がこの本から得るべき最も重要な教訓は何ですか？

私たちは、機械学習技術の思慮深い、責任ある、倫理的な使用は、世界をより公正で、公平で、包括的な場所にすることができるということを強く信じています。機械学習技術は、ビジネス界を再構築することを約束していますが、それは難しい必要はありません。チームは、信頼性の高い方法とプロセスに従って、デプロイするための自信を得ることができます。

もう1つの重要な教訓は、ビジネス・オーナー（製品マネージャーなど）と、より技術的な側面のチーム・メンバー（エンジニアやデータ・サイエンティストなど）が、共通の言語で話す必要があるということです。AIを成功裏にデプロイするには、リーダーがビジネス・スペシャリストとCレベルに十分なコンテキストを提供し、技術的な実装者と効率的にコミュニケーションを取る必要があります。

多くの人々は、AIについて考える際に、コードについて考えることが多いですが、本の中では、データがAIモデルの成功に欠かせないことについて説明しています。データの収集からラベル付け、ストレージまで、すべてのステップがモデルの成功に影響します。最も成功したAIデプロイは、データに高い重視を置き、継続的に改善を目指しているものです。

実践的なAIには、クロス・ファンクショナル・チームとイノベーション精神が必要です。

AIモデルの精度が、AIを使用するために十分なレベルに達しているかどうかを判断する方法について説明しています。必要な精度の種類を評価する最も簡単な方法は何ですか？

ユースケースとリスク許容度によって異なります。AIを開発するチームは、常にテスト・フェーズを実施し、組織と利害関係者のために精度レベルと許容可能なしきい値を決定する必要があります。命に関わるユースケース（誤った場合に害を及ぼす可能性がある場合、例えば、刑事事件の判決ソフトウェア、自動運転車、医療用途など）では、非常に高い精度が必要です。チームは、モデルが誤った場合に備えて、対策を講じる必要があります。よりフォールト・トレラントなユースケース（主観的な判断が関与する場合、例えば、コンテンツ、検索、広告の関連性など）では、チームはユーザーのフィードバックに頼って、モデルを改良し続けることができます。ただし、違法または非倫理的なコンテンツがユーザーに表示される可能性があるため、安全対策とフィードバック・メカニズムを講じる必要があります。

プロジェクトの初期段階で成功を定義することの重要性について説明しています。プロジェクトの成功を定義することの重要性をどのように定義しますか？

ビジネス・プロブレムを定義することと、成功を定義することは、同じレベルの重要性を持っています。例えば、本の中で自動車ディーラーがAIを使用して画像をラベル付けするという例では、成功を定義することができませんでした。なぜなら、ビジネス・プロブレムを定義していなかったからです。成功は、さまざまなものになる可能性があります。そのため、チームは問題を解決することが難しくなります。チームが、使用済み車の在庫の中で、80%の車体の凹みを正確にラベル付けすることを成功の定義とした場合、チームは85%の精度を達成した場合に成功と呼ぶことができます。しかし、成功がビジネス・プロブレムに直接結びついていない場合、プロジェクトの評価は難しくなります。この場合、ビジネス・プロブレムはより複雑で、凹みのラベル付けはその一部です。チームは、成功を、請求プロセスでの時間やコストの節約、または修理プロセスの最適化として定義することができました。そうすれば、ラベル付けの精度の影響をビジネス結果に直接結び付けることができます。

トレーニング・データの例が、プロダクション・デプロイで発生するすべてのユースケースをカバーすることの重要性について説明しています。トレーニング・データをすべてのユースケースでカバーすることの重要性をどのように説明しますか？

モデルをトレーニングするために、すべてのユースケースをカバーすることは非常に重要です。バイアスを避けるために、チームはプロダクション・データとトレーニング・データを理解する必要があります。さまざまなユースケースを持つ大規模で多様なグループからのトレーニング・データにアクセスすることは、モデルの成功に重要です。例えば、画像内のペットを認識するモデルをトレーニングする場合、犬、猫、鳥、げんぼう、爬虫類など、すべての種類のペットでトレーニングする必要があります。モデルが犬、猫、鳥のみでトレーニングされた場合、ユーザーがモルモットの画像をアップロードした場合、モデルはそれを認識できません。この例は単純ですが、可能な限り多くのユースケースでトレーニングすることの重要性を示しています。

本の中で、上から下への良いデータ・ハイジーンの習慣を開発する必要性について説明しています。最初のステップは何ですか？

良いデータ・ハイジーンの習慣は、内部データの活用性を高め、機械学習のユースケースに適したものにします。会社全体がデータセットの整理と追跡に優れる必要があります。1つの確実な方法は、ビジネス要件として実施し、カスタム・ジョブが少なくなるようにし、チームがデータ・パイプラインを中央のリポジトリに導き、明確なオントロジーを持つようにすることです。もう1つの良い実践は、データが収集されたときとどこで収集されたか、そしてデータベースに配置される前に何が起こったかを記録することです。また、使用されていないまたは古いデータを定期的にクリーンアップするプロセスを確立することも重要です。

素晴らしいインタビュー、感謝します。読者がもっと学びたい場合は、本を読むことをお勧めします： 実践的責任ある機械学習のためのAIの実世界：実践ガイド