インタビュー
Wilson Pang, Co-Author of Real World AI – Interview Series
Wilson Pangは、2018年11月にAppenに入社し、CTOとなり、会社の製品とテクノロジーを担当しています。Wilsonは、ソフトウェアエンジニアリングとデータサイエンスの分野で19年以上の経験を持っています。Appenに入社する前に、Wilsonは、世界で2番目に大きいオンライン旅行会社である中国のCtripのチーフデータオフィサーでした。そこでは、データエンジニア、分析家、データプロダクトマネージャー、科学者を率いて、ユーザーエクスペリエンスの向上と運用の効率化を図り、ビジネスを成長させました。その前には、カリフォルニアのeBayでエンジニアリングのシニアディレクターを務め、データサービスとソリューション、検索科学、마케ティングテクノロジー、請求システムなどのさまざまなドメインでリーダーシップを提供しました。eBayに入社する前に、IBMでアーキテクトとして働き、さまざまなクライアント向けのテクノロジーソリューションを構築しました。Wilsonは、中国の浙江大学で電気工学の修士号と学士号を取得しました。
私たちは、彼の新しい本について話し合います：The Real World of AI: A Practical Guide for Responsible Machine Learning
あなたは、eBayの検索科学チームを率いていたとき、機械学習の最初のレッスンとして、どのメトリクスを測定するかを理解することの重要性について説明しています。例として、メトリクス「セッションあたりの購入数」がアイテムの金銭的価値を考慮していないことを示しています。会社は、同様の問題を避けるために、どのメトリクスを測定する必要があるかを最もよく理解することができますか？
AIモデルにチームが帰属する目標から始めましょう。私たちの場合は、機械学習でより多くの収益を生み出すことを望んでいました。目標にメトリクスを付ける際には、モデルをリリースし、ユーザーがモデルとやり取りし始めたときにどのようなメカニズムが生まれるかを考えてみましょう。また、仮定も記録しましょう。私たちの場合は、モデルが収益を最適化することを想定していましたが、セッションあたりの購入数はそれに相当しませんでした。なぜなら、モデルは低価格のアイテムの販売数を多くするように最適化されていたからです。最終的には、収益が増えていませんでした。そこで、メトリクスを変更してモデルを正しい方向に導くことができました。したがって、詳細なメトリクスを決定することと、仮定を記録することが、プロジェクトの成功に重要です。
あなたは、この本の研究と執筆から何を学びましたか？
さまざまな会社や業界で、AIによって解決できる多くの問題があります。ユースケースは非常に異なる場合があり、AIソリューションも異なる場合があり、AIソリューションをトレーニングするデータも異なる場合があります。しかし、それらの違いに関係なく、人々がAIの旅の途中で犯したミスはかなり似ています。さまざまな会社や業界で繰り返し起こるミスです。
私たちは、AIプロジェクトを実装する際の共通のベストプラクティスを共有し、より多くの人々や会社がこれらのミスを避け、責任あるAIをデプロイする自信を得ることを目的としています。
あなたは、読者がこの本から得るべき最も重要な教訓は何ですか？
私たちは、機械学習テクノロジーの思慮深い、責任ある、倫理的な使用は、世界をより公正で、公平で、包括的な場所にすることができるということを強く信じています。機械学習テクノロジーは、ビジネス界を再構築することを約束していますが、それは必ずしも難しいことではありません。チームが従うことができ、責任あるAIをデプロイする自信を得ることができる、試験済みの方法とプロセスがあります。
もう1つの重要な教訓は、ビジネスオーナー（例：プロダクトマネージャー）と技術的な側面（例：エンジニアやデータサイエンティスト）のチームメンバーが共通の言語を話す必要があるということです。AIを成功裏にデプロイするには、リーダーがビジネス専門家やCレベルと技術的な実装者との間のギャップを埋める必要があります。
多くの人々は、AIについて考える際に、最初にコードについて考えることがあります。この本の重要な教訓の1つは、データがAIモデルの成功に決定的に重要であるということです。データの収集からラベル付け、保存まで、すべてのステップがモデルの成功に影響します。最も成功したAIのデプロイは、データに高い重視を置き、MLモデルのこの側面を不断に改善しようとするものです。
現実世界のAIには、クロスファンクショナルなチームと革新的な精神が必要です。
本で議論されているのは、AIモデルの精度が使用するのに十分に高いことを判断する方法です。必要な精度の種類を評価する最も簡単な方法は何ですか？
それは、ユースケースとリスク許容度によって異なります。AIを開発するチームは、常にテストフェーズを持ち、組織と利害関係者にとっての精度レベルと許容可能なしきい値を決定する必要があります。命や死を扱うユースケース（例：判決ソフトウェア、自動運転車、医療用途）では、誤った場合に害を及ぼす可能性があるため、基準は非常に高くなります。チームは、モデルが間違っている場合に備えて、対策を講じる必要があります。より故障耐性のあるユースケース（例：コンテンツ、検索、広告の関連性）では、チームはユーザーのフィードバックに頼って、モデルをさらに調整することができます。もちろん、ここでも、違法または非道徳的なコンテンツがユーザーに表示される可能性があるため、対策とフィードバックメカニズムを講じる必要があります。
プロジェクトの成功を定義することの重要性を定義できますか？
ビジネス問題から始めることと、成功を定義することは、プロジェクトの成功に同等の重要性があります。両者は密接に関係しています。本の例の自動車ディーラーがAIを使用して画像をラベル付けする場合、成功の定義はしていませんでした。なぜなら、ビジネス問題を解決するために、成功はさまざまなものになる可能性があるからです。チームは、問題を解決することよりも、機械学習モデルに固定されたスコープを持たせることの方が難しいでしょう。もし彼らが、使用済み車の在庫にあるすべての車両の凹みを正確にラベル付けすることを目標として成功を定義していたら、85%の車両の凹みを正確にラベル付けした場合、チームはそれを成功と呼ぶでしょう。しかし、成功がビジネス問題や直接的なビジネス影響に結びついていない場合、プロジェクトの成功を評価することは難しいでしょう。この場合、ビジネス問題はより複雑で、凹みのラベル付けはその一部でした。彼らは、成功を請求プロセスでの時間やお金の節約、または修理プロセスの最適化として定義する方が良かったでしょう。そうすれば、ラベル付けの影響を実際のビジネス成果に翻訳することができたでしょう。
トレーニングデータの例が、プロダクション展開で発生するすべてのユースケースをカバーすることを保証することはどれくらい重要ですか？
モデルをトレーニングするために、すべてのユースケースをカバーすることは非常に重要です。バイアスを避けるためには、モデルをトレーニングするために、すべてのユースケースをカバーする必要があります。しかし、プロダクションで絶対にすべてのユースケースをカバーすることは不可能であることも理解する必要があります。AIを構築するチームは、プロダクションデータとトレーニングデータを理解する必要があります。そうすれば、モデルをトレーニングして、プロダクションで出会うものに備えることができます。さまざまなユースケースを持つ大規模で多様なグループからのトレーニングデータにアクセスすることは、モデルの成功に重要です。例えば、画像にアップロードされたペットを認識するようにモデルをトレーニングする場合、すべての種類のペット（犬、猫、鳥、小型哺乳類、爬虫類など）でトレーニングする必要があります。モデルが犬、猫、鳥のみでトレーニングされている場合、誰かがギニアピッグの画像をアップロードした場合、モデルはそれを識別できないでしょう。この例は非常に単純ですが、モデルの成功に必要な、可能な限り多くのユースケースでトレーニングすることの重要性を示しています。
本で議論されているのは、上から下への良いデータハイジーンの習慣を開発する必要性です。良いデータハイジーンの習慣を育むための一般的な最初のステップは何ですか？
良いデータハイジーンの習慣は、内部データの活用性を高め、MLのユースケースに適したものにします。会社全体がデータセットを整理して追跡するのがうまくなる必要があります。これを達成する確実な方法は、ビジネス要件としてデータの管理を実施し、カスタムジョブになるレポートが少なくなるようにし、チームがデータパイプラインを中央リポジトリにまとめるようにし、明確なオントロジーを確立することです。もう1つの良い慣習は、データが収集された時期と場所、データベースに格納される前に何が起こったかを記録することです。また、使用されていないまたは古くなったデータを定期的にクリーンアップするプロセスを確立することも重要です。
この素晴らしいインタビューに感謝します。読者がもっと学びたい場合は、本を読むことをお勧めします：The Real World of AI: A Practical Guide for Responsible Machine Learning。
