アージュン・ナラヤン、SmartNewsのグローバル・トラスト＆セーフティ担当 – インタビュー・シリーズ

アージュン・ナラヤンは、ニュースアグリゲーター・アプリのSmartNewsのグローバル・トラスト＆セーフティ担当です。また、AI倫理とテクノロジー・ポリシーも専門としています。SmartNewsは、AIと人間の編集チームを使用してニュースを集約しています。

あなたは、シンガポールでGoogleのトラスト＆セーフティ・アジア・パシフィック・ハブを設立する上で重要な役割を果たしました。この経験から得た主な教訓は何ですか?

トラスト＆セーフティ・チームを構築する際には、国レベルの専門知識が非常に重要です。なぜなら、悪用は国によって異なりますからです。たとえば、Googleの製品が日本で悪用された方法は、東南アジアやインドで悪用された方法と異なります。これは、悪用ベクトルが国によって異なり、誰が悪用しているか、どの国にいるかによって異なることを意味します。したがって、悪用ベクトルは国によって異なります。

また、トラスト＆セーフティ・チームを海外で構築する際には、文化的多様性が非常に重要であることを学びました。Googleでは、チームに文化的多様性と理解を持った人材を採用するようにしました。特定のドメインの専門知識を持つ人材を探していたのですが、言語や市場の専門知識も必要でした。

また、文化的浸潤も非常に重要であることを発見しました。国境を越えたトラスト＆セーフティ・チームを構築する際には、エンジニアリングチームとビジネスチームが問題に近づけるようにする必要があります。そこで、主要人物と四半期ごとの浸潤セッションを行い、全員の文化的知識を高めることができました。

最後に、異文化の理解も非常に重要でした。日本、オーストラリア、インド、東南アジアのチームを管理していましたが、チームメンバー同士のやり取りは大きく異なりました。リーダーとして、全員が声を上げられるようにすることが重要です。最終的には、高度なパフォーマンスを発揮できるチームを構築することが目標です。

以前、ByteDanceのTikTokアプリケーションのトラスト＆セーフティ・チームでも働いていました。1分未満の動画を安全に監視する方法は何ですか?

この質問を少し変えたいと思います。動画の長さは、安全性を評価する際に重要な要素ではありません。動画の長さが短いか長いかは、悪用の可能性に影響しないからです。

悪用について考える際には、「問題」という観点から考える必要があります。ユーザーが脆弱な問題とは何ですか？誤情報？虚偽情報？動画が1分か1時間かは関係ありません。どちらの場合も、誤情報が共有され、悪用のレベルは同じです。

問題の種類によって、ポリシー・エンフォースメントやセーフティ・ガードレールをどのように実施するかを検討する必要があります。たとえば、自殺を犯す人物の動画があれば、すぐに措置を講じる必要があります。誰かが命を失う可能性があるからです。機械学習に頼ることが多く、迅速な検出が必要です。最初の措置は、当局に連絡して命を救うことです。その後、動画、ライブストリーム、または共有形式を停止することを目指します。有害なコンテンツへの露出を最小限に抑える必要があります。

同様に、ヘイトスピーチの場合も、異なる方法で対処する必要があります。いじめやハラスメントの場合も、問題の種類によって対策を変える必要があります。もう1つの安全なガードレールの例は、不適切なコメントを書き込む前にユーザーに考えさせられるような機械学習を実装したことです。ユーザーを止めるのではなく、共有する前に考える時間を与えることが目的でした。

これは、機械学習とキーワードルールの組み合わせです。ただし、ライブストリームの場合、AIによってフラグが付けられたストリームを人間のモデレーターがリアルタイムでレビューする必要があります。リアルタイムで発生しているため、ユーザーが報告するのを待つだけでは不十分です。

2021年以来、SmartNewsのトラスト、セーフティ、カスタマー・エクスペリエンスの責任者を務めています。SmartNewsが機械学習と自然言語処理を使用して、高品質のニュース・コンテンツを識別および優先順位付けする方法について説明してください。

中心となる概念は、特定の「ルール」または機械学習技術を使用して、記事や広告を解析し、記事について何であるかを理解できるということです。

何かが「ルール」を違反した場合、たとえば事実的に不正確または誤解を招くものである場合、機械学習によってコンテンツがフラグ付けられ、編集チームの人間のレビューアーに通知されます。その段階で、編集チームは編集上の価値観を理解し、記事の適切性または品質について迅速に判断できます。次に、対処するための措置が講じられます。

SmartNewsは、AIをどのように使用してプラットフォームが安全で、包括的で、客観的であることを保証していますか?

SmartNewsは、ハイパー・パーソナライゼーションはエゴのためによいが、同時に私たちを偏向させ、フィルターバブルに陥れるという前提で設立されました。

SmartNewsがAIを使用する方法は少し異なります。私たちは、エンゲージメントのみを最適化していません。私たちのアルゴリズムはあなたを理解したいと思っていますが、あなたの好みにのみ最適化しているわけではありません。私たちは、視野を広げることへの信念を持っています。私たちのAIエンジンは、あなたに隣接する概念や記事を紹介します。

アイデアは、公共の利益のために知るべきことがあることと、視野を広げるために知るべきことがあることのバランスを取ることです。私たちは、コンテキスト分析を提供することを目指していますが、大きな兄のようなものにはなりません。時々、ユーザーはアルゴリズムがフィードに表示する記事を読みたくないかもしれません。しかし、私たちは、アルゴリズムのエンジンの能力を誇りに思っています。偶然性、好奇心、または何と呼ぶかはわかりませんが、ユーザーに新しいものを紹介する能力があります。

安全性の面では、SmartNewsには「パブリッシャー・スコア」と呼ばれるものがあります。これは、アルゴリズムによって常に評価されるもので、パブリッシャーが安全かどうかを判断するために使用されます。最終的には、パブリッシャーが権威ある声を持っているかどうかを判断したいと思っています。たとえば、ESPNはスポーツの権威であることがわかります。しかし、ESPNのコンテンツをコピーしたランダムなブログの場合、ESPNをランダムなブログよりも上位にランク付けする必要があります。パブリッシャー・スコアは、独自性、記事の投稿時期、ユーザーのレビューの様子など、多くの要素を考慮します。

何よりも重要なことは、「ユーザーが何を読みたいか」ということです。如果ユーザーがクリックベイト記事を読みたい場合、違法またはガイドラインに違反していない限り、ユーザーを止めることはありません。ユーザーに干渉しませんが、安全で不適切なコンテンツをフィードに表示する前に、必要な手続きを遵守します。

記者がコンテンツを生成するためにジェネレーティブAIを使用することについてのあなたの見解は何ですか?

私は、この質問は倫理的なものであり、現在SmartNewsで議論されているものであると思います。ジェネレーティブAIによって生成されたコンテンツを提出するパブリッシャーに対して、SmartNewsはどう見るべきでしょうか？

私は、その列車はすでに出発しています。今日、記者は記事を書く際にAIを使用しています。スケールの問題です。商業的に実行可能な速度で記事を生成する時間がないからです。特に、ニュース組織がスタッフを削減し続けている現在です。質問は、創造性がどの程度投入されるか、記事が記者によって磨かれるか、記者が完全に依存しているか、ということです。

現在、ジェネレーティブAIは、トレーニングデータがないため、突発的なニュースイベントについて記事を書くことができません。しかし、記者にテンプレートを提供することはできます。たとえば、学校での銃乱射事件は非常に一般的です。ジェネレーティブAIは、学校での銃乱射事件についてのテンプレートを提供でき、記者は影響を受けた学校の名前を挿入して完成したテンプレートを受け取ることができます。

私の立場から見ると、2つの原則が重要であると思います。まず、コンテンツがAIによって生成されたことをパブリッシャーが明確に示す必要があります。そうすることで、ユーザーが記事を読む際に、誰が記事を書いたかについて誤解を招くことがありません。これは、最高レベルの透明性です。

2番目に、記事が事実的に正確であることを望みます。ジェネレーティブAIは、必要に応じて事実を捏造することがあります。ジェネレーティブAIによって書かれた記事は、記者または編集スタッフによって校正される必要があります。

あなたは以前、デジタル・トクシシティーに対抗するためにテクノロジー・プラットフォームが共通の基準を確立する必要性を主張しました。この問題の重要性は何ですか?

私は、この問題が非常に重要であると考えます。企業が倫理的に運営する上で、また、人間の尊厳と礼儀正しさを維持する上で、企業が共通の基準を確立する必要があります。たとえば、誰もが自殺を促すことは決して奨励されるべきではありませんが、時にはプラットフォーム上でそのような悪用が発生します。私は、企業がこれに対抗するために協力するべきであると考えています。

デジタル企業が協力できる方法は何ですか?

企業は、共通の価値観と協力の可能性がある場合に協力する必要があります。特に、悪用に対抗したり、プラットフォームの礼儀正しさを確保したり、偏見を減らしたりする場合に、企業間や業界間で交差点が存在します。これらは、企業が協力するべき瞬間です。

商業的な角度では、競争があります。競争は通常、企業が強みと差別化を生み出すのに役立ちます。しかし、ユーザーを保護する場合、または礼儀正しさを促進する場合、または悪用を減らす場合、これらのトピックは、人間の価値観や自由な世界を守るために協力する必要があるものです。私の意見では、すべてのプラットフォームには、人間の価値観や自由な世界を守るために協力する責任があります。

あなたの現在の、責任あるAIについての見解は何ですか?

私たちは、非常に普及している技術の初期段階にあります。このジェネレーティブAIの次の段階は、私たちが完全には理解したり、部分的にしか理解できない問題です。

責任あるAIについては、強力なガードレールを開発することが非常に重要です。そうでなければ、ジェネレーティブAIのフランケンシュタインの怪物を作り出してしまうかもしれません。何が間違う可能性があるかを考える時間を費やす必要があります。アルゴリズムにバイアスが生じる可能性があるか、または大規模な言語モデルが悪人によって悪意のある行為に使用される可能性があるかです。これは、AI倫理学者がアドバーサリアル・テストを行い、デザインの欠陥を理解するために重要です。これにより、悪用を防ぐ方法を理解できます。

テクノロジー自体は善でも悪でもありませんが、悪人によって悪いことをするために使用される可能性があります。したがって、AIをプログラミングする際に、スマートな人々がデフォルトを構築する必要があります。重要な点は、タイミングです。悪いことが起こる前に、ポジティブなアクターがこれらのことを行う必要があります。

過去に設計して構築してきたシステムとは異なり、AIは独自にイテレートして学習することができます。したがって、AIが何を学習し、何を学習しないかの強力なガードレールを設定する必要があります。そうでなければ、AIが何になるかを制御することはできません。

現在、主要テクノロジー企業が倫理委員会や責任あるAIチームを大幅に削減しています。テクノロジー企業がテクノロジーとAIの潜在的な落とし穴をどれだけ真剣に検討しているかは、まだ見ていく必要があります。

SmartNewsでのあなたの仕事についてさらに何か共有したいことはありますか?

私は、SmartNewsの使命に共感しているため、SmartNewsに参加しました。使命にはある種の純粋さがあります。私は、世界がますます偏向していることを強く信じています。現在、メディア・リテラシーが十分ではありません。

不幸にも、多くの人がWhatsAppのメッセージをそのまま受け取って信じており、それが重大な結果をもたらすことがあります。たとえば、暴力などです。これは、人々が消費するものを信じることと信じないことの区別がついていないためです。如果人々を教育しない、または信頼できるものと信頼できないものを判断するためのメディア・リテラシーを提供しない場合、問題を永続させ、歴史が教えてくれることをしないことになります。

私の仕事の最も重要な側面の1つは、世界の偏向を減らすことです。創設者の使命を果たしたいと思っています。つまり、人々が消費するものを理解し、世界と多様な視点について情報に基づいた意見を形成できるようにすることです。

ご協力ありがとうございました。SmartNewsについてもっと知りたい方や、別のタイプのニュース・アプリを試したい方は、SmartNewsを訪けてください。