Andersonの視点

インスタグラムのクラウドターフィングをマシンラーニングで識別する

mm
Unite.AI を Google の優先ソースに追加

イタリアとイランの研究者は、インスタグラムの「クラウドターフィング」活動を識別する最初のマシンラーニングシステムを開発したと主張しています。クラウドターフィングとは、人間(自動化されたアカウントではなく)がインフルエンサーのアカウントを構築するサービスを提供することを意味します。

新しい方法は、約95%の精度スコアを主張し、自然言語処理(NLP)システムで半教師あり学習を使用しています。

著者は、自分たちのシステムが、信頼性の高いクラウドターフィング(CT)検出システムであり、偽の、有料のプロファイルエンゲージメントとブースティングに従事している非ボットアカウントを信頼性の高い方法で特定できる最初のシステムであると主張しています。

これを実現するために、著者は11のCTプラットフォームプロバイダーから1293のクラウドターフィングプロファイルを購入して、CT検出器をトレーニングするためのデータを取得しました。インスタグラムにはボット対策が施されているため、著者は、商業目的でプラットフォームのユーザーを利用しようとする者が、偽のエンゲージメントとブースティングを行うために、本当のインフルエンサーに支払うようになったと述べています。

モデルをトレーニングした後、著者は20人の「メガインフルエンサー」(それぞれ100万人以上のフォロワーを持つ)のエンゲージメントプロファイルを分析し、「20%以上のエンゲージメントが人工的である」と結論付けました。

この論文のタイトルは、「私たちがすべてトゥルーマン・ショーの中にいるのか?自己トレーニングを通じてインスタグラムのクラウドターフィングを特定する」であり、イタリアのパドヴァ大学とイランのイマーム・レザー大学の5人の研究者によって書かれています。

インスタグラムの利用規約の違反

ツイッターとは異なり、ツイッターは研究者に協力的な態度で知られていますが、インスタグラムはAPIや更新されたデータダンプを提供して研究者を支援することはなく、利用規約でマシン駆動のブラウジングを禁止しています。したがって、研究者の最初のタスクは、インスタンスティチューショナル・レビュー・ボードから免除を得ることでした。これは、以前の 研究によって裏付けられています。

クラウドターフィングサービスは、研究者が目的のために作成した新しいインスタグラムアカウントに購入されました。これらのアカウントはすべて、実験後に削除されました。インフルエンサーアカウントやCTプラットフォームサービスは名前が公開されていません。

別の倫理的な障害は、研究者が研究対象のインフルエンサーから同意を得ることができなかったことです。これは、ホーソーン効果(つまり、インフルエンサーの行動が変わる可能性がある)があるためです。この免除も、IRBによって許可されました。

最後に、インスタグラムが「手動収集」を許可しているため、研究者は、自動化されたスクレイピングツールを「人間の速度」に設定することで、利用規約の違反を妥協しました。これにより、データ収集のフェーズが5か月かかりました。

人間の販売

研究者は11の(名前のない)プロバイダーから100の「偽のフォロワー」プロファイルを購入しました。

論文には以下のように記載されています:

「すべてのプロバイダーは、フォロワーがターゲットプロファイルとやり取りすることでエンゲージメント率を高めることを保証しています。

「これらのCTプロファイルは、高品質のフォロワーとして識別され、通常、「ベース」の偽のプロファイルよりも高価です。プロバイダーの信頼性は、TrustPilotのような有名なレビュープラットフォームによって裏付けられています。」

論文から、(匿名化された)CTプラットフォームプロバイダーの統計。各プロバイダーは「汚染された」リアルワールドインフルエンサーアカウントのマーケットプレイスです。このテーブルは、研究者が各ソースから購入した100のプロファイルから取得した情報をまとめたものです。ソース:https://arxiv.org/pdf/2206.12904.pdf

論文から、(匿名化された)CTプラットフォームプロバイダーの統計。各プロバイダーは「汚染された」リアルワールドインフルエンサーアカウントのマーケットプレイスです。このテーブルは、研究者が各ソースから購入した100のプロファイルから取得した情報をまとめたものです。ソース:https://arxiv.org/pdf/2206.12904.pdf

インスタグラムのインフルエンサーを購入する平均コストは、約3ドルで100人の「高品質」のフォロワーが得られるとのことです。著者は以下のように述べています:

「ほとんどのプロバイダーは、数時間以内にフォロワーを提供します。ドロップ保護を提供しているため、購入したフォロワーの数は時間の経過とともに安定したままであるか、または新しいフォロワーが失われたフォロワーを補充するために提供されるようになります。」

研究者は、購入した一部の新しいインスタグラムアカウントが、1か月後に15〜20%のCTフォロワーを失ったと報告しています。しかし、特定のケースでは、予想よりも多くのフォロワーを獲得したこともありました。最も高価なCTプロバイダー(上のテーブルのCT-10)の場合、1か月後に3人のフォロワーしか失われませんでした。

論文には以下のように記載されています:

「フォロワーとフォロー中の比率は、CTプロバイダーに支払うほど『本物らしく』なります。2番目に高価なプロバイダーは、標準ユーザーの基準と非常に近い比率を提供しています。」

CTインスタグラムアカウントの特徴は、プロファイルがほとんど「プライベート」に設定されていないことです(これは、購入した偽のフォロワーよりも、プロファイルと関連するコメントからデータを抽出できることを可能にしました)。しかし、これは信頼できる「信号」と見なすべきではありません。

「これらのプラットフォームに参加する人は、信頼性のある最小限の投稿を作成することに興味がありますが、まれなケース(CT-4、CT-10)を除きます。低品質のプロファイルは、フォロワーとフォロー中の間で非常に高い不均衡を示し、平均投稿数は0に近く、CTプロファイルよりもはるかに低いです。」

データ

研究者は、ブラウザ自動化フレームワークSeleniumを使用してデータを収集しました。結果として得られたデータセットには、1293のCTユーザーと1307の非CTユーザーのプロファイル情報が含まれています。

この比較的少ないサンプルサイズにより、Seleniumを信頼性の高い「人間の速度」に設定することができました。さらに、著者は、半教師あり学習技術の表現力と解釈力は、小さなデータセットにも対応できることを示しています。徹底性のために、完全に教師ありモデルで実験を行った結果、著者は以下のように述べています:

「半教師ありモードでの結果は、教師ありモードでの結果と大きく異なりません。これは、CTプロファイルが非常に似た特徴を共有しており、アルゴリズムが少量のラベル付きデータで収束できることを示しています。」

著者は、プロファイルページのソースコードからすべての利用可能なデータを収集し、通常はレンダリング時に隠されている詳細を含みました。例えば、#videos要素などの詳細です。

次に、著者は、0または低分散を持つ機能を削除することでデータ機能を前処理しました。最後に、カテゴリや数値以外のデータを厳密に数値またはブール値の機能に変換しました。

最終的なデータセットの特徴。

最終的なデータセットの特徴。

方法と探索

セレニウム以外に使用された技術には、トランスフォーマーベースのパイプラインを使用したSpaCyのバージョン、scikit-learnの自己トレーニング分類器、およびInstaloaderフレームワークが含まれます。

新しい論文には、従来の「結果」セクションがないため、インスタグラムの自動化されたアカウントの自動検出という中心的な関心事から外れた、クラウドターフィング活動の自動検出という目的を扱っているからです。したがって、比較できるような先行研究はありません。

研究者は、利用可能な購入ユーザーに対して、NLP関連技術の幅広い方法を採用しました。

研究対象となった側面には、言語分析(CTの世界では、ほとんどの場合英語に既定値が設定されますが、CTプラットフォームは地理的にロケール化された非英語のフォロワーも提供します)、コメント数(偽のユーザーは、検出を恐れて、実際のユーザーと非常に近い頻度でコメントします)、および共通の単語分析が含まれます:

偽のユーザーと実際のユーザーのワードクラウド。

偽のユーザーと実際のユーザーのワードクラウド。

論文には以下のように記載されています:

「「dokter」単語の出現(上の画像を参照)は、特定の内部キャンペーンに起因するようです:

「「dokter」は1069の異なるコメントに現れます。この単語をスパムするアカウントをさらに調査すると、ボットネットの一部であるようです。ボットネットの目的は、WhatsAppビジネスリンクが含まれる「Instagramの医者」アカウントをスパムすることです。すべての医者のプロファイルには、チャットを開始するメッセージでリンクがクリックされたときに、完了するメッセージが含まれています。」

研究者は、インスタグラムのユニークなユーザー248,388人から、合計603,007件のコメントを収集しました。著者は、55,719件のアカウントがクラウドターフィングアカウントであると推定しています。

研究者は、収集したデータで女性をテーマにしたトピックが優勢であることに興味を持っています。 GPU-PDMM(ツイッターの必然的に短い投稿用に開発された技術)を使用して、121,822件のコメントコーパスから12,830件の適切なコメントを抽出し、アルゴリズムは、12人の男性と8人の女性のコンテンツを考慮して、ほとんどのコメントが女性関連のトピックを扱っていることを発見しました。

研究者が実施した実験で抽出された偽のコメントのトップ10のトピック。

研究者が実施した実験で抽出された偽のコメントのトップ10のトピック。

研究者は以下のように結論付けています:

「インスタグラムと研究コミュニティは、ボットや自動化されたアカウントの検出に多くの時間を費やしてきましたが、インフルエンサー・マーケティング、インスタグラム・プラットフォーム、そしてそのほとんどのユーザーに悪影響を与えるCT活動について、さらに多くの研究が行われるべきです。」

* 研究者の引用されたTrustPilot URLは省略されています。

初めて2022年6月28日に公開されました。

機械学習のライターであり、ヒューマンイメージシンセシスのドメインスペシャリスト。Metaphysic.aiの研究コンテンツ責任者を務めていたが、DNEGのBrahma.aiへの統合により解散した。
Portfolio site: martinanderson.ai
Contact:martin@martinanderson.ai