CAPTCHAを機械学習で解くことでダークウェブ研究を可能にする

米国の学術研究プロジェクトは、CAPTCHA*テストを破る方法を開発しました。敵対的生成ネットワーク（GAN）を使用して、視覚的に複雑なチャレンジを解読することで、同様の最先端の機械学習ソリューションを上回ると報告されています。

新しいシステムをベストなフレームワークに対してテストした結果、研究者は、慎重に選別した実世界のベンチマークデータセットで94.4%を超える成功率を達成し、非常にCAPTCHA保護された新興ダークネットマーケットプレースをナビゲートする際に、人間の関与を排除することができました。CAPTCHAチャレンジは最大3回の試行で自動的に解決されました。

DW-GANのワークフロー。 ソース：https://arxiv.org/pdf/2201.02799.pdf

著者らは、この方法がサイバーセキュリティ研究者にとって画期的な進歩だと主張しています。研究者は従来、Amazon Mechanical Turk（AMT）などのクラウドソーシングサービスを通じて人にCAPTCHAを手作業で解いてもらい、その費用を負担する必要がありました。

システムが適応性と回復力を持っている場合、自動化された監視システムやTORネットワークのインデックス付けとウェブスクレイピングの道をさらに開く可能性があります。これにより、これまでCAPTCHAの防壁に阻まれてきた、拡張可能で大量のデータを扱う分析や、新しいサイバーセキュリティの手法・技術の開発が可能になるかもしれません。

論文は、Counteracting Dark Web Text-Based CAPTCHA with Generative Adversarial Learning for Proactive Cyber Threat Intelligenceと題され、アリゾナ大学、サウスフロリダ大学、ジョージア大学の研究者によって執筆されています。

影響

Dark Web-GAN（DW-GAN、GitHubで公開）は従来の方法よりもかなり高性能に見えるため、通常はより簡単な一般ウェブのCAPTCHAを突破する汎用的な方法として使われる可能性があります。この実装自体を使う場合も、新論文の一般原理に基づく場合も考えられます。ただしGitHubの保存容量に限りがあるため、当時は関連データを入手するには筆頭著者Ning Zhangに連絡する必要がありました。

DW-GANはCAPTCHAを突破して研究を支えるという前向きな目的を持っています。TOR自体も元々は軍事通信を、その後は記者を保護するという前向きな目的がありました。CAPTCHAは大手CDN企業CloudFlareが頻繁に利用し、議論にもなっている正当な防御手段である一方、違法なダークウェブ市場も好んで使っています。そのため、この手法は力関係の均衡をもたらす技術と考えることもできます。

著者たちは、DW-GANには、より広範な用途があることを認めています：

「この研究は主に、より挑戦的な問題であるダークウェブのCAPTCHAに焦点を当てていますが、この研究で提案された方法は、一般性を失うことなく、他の種類のCAPTCHAにも適用できることが期待されます。」

おそらくDW-GANや類似システムが広く目立つ形で普及すれば、ダークウェブ市場は機械ではより解きにくい対策を探すか、少なくともCAPTCHAの設定を定期的に改良するようになるでしょう。これは一種の冷戦状態です。

動機

論文では、ダークウェブがサイバー攻撃に関するハッカーインテリジェンスの主な源であると述べられており、サイバー攻撃は2025年までに世界経済に10兆ドルの損失をもたらすと推定されています。したがって、オニオンネットワークは、セッションタイムアウト、クッキー、ユーザー認証などのさまざまな方法で侵入者を阻止できるため、違法なダークネットコミュニティにとって比較的安全な環境のままです。

ぼかした背景と傾斜した文字を使用する2種類のCAPTCHA

しかし、著者は、ダークウェブコミュニティの「デリケート」な体験の中で、CAPTCHAが最も大きな障害であると指摘しています：

「これらの対策のほとんどは、クローラープログラムに自動化された対策を実装することで効果的に迂回できますが、CAPTCHAは、通常、自動化ツールが持たない高度な認知能力があるため、ダークウェブで簡単に迂回できない最も妨害的なアンチクローラーメジャーです。」

テキストベースのCAPTCHAは、唯一の選択肢ではありません。多くの人々がよく知っているように、ビデオ、オーディオ、特に画像を解釈するようにユーザーに挑戦するバリエーションがあります。ただし、著者は、テキストベースのCAPTCHAが当時のダークウェブ市場で好まれる課題であり、TORネットワークを機械分析しやすくする自然な出発点だと指摘しています。

アーキテクチャ

中国のノースウェスト大学からの以前のアプローチでは、GANを使用してCAPTCHAプラットフォームから特徴パターンを導出しましたが、著者は、この方法は認識された文字をより深く調べるのではなく、ラスタライズされた画像の解釈に依存しているのに対し、DW-GANの有効性は、ダークウェブのCAPTCHAで通常見られる意味のない単語や数字の可変長に影響されないことを指摘しています。

DW-GANは、4段階のパイプラインを使用します。まず、画像をキャプチャし、次に、注釈付きCAPTCHAサンプルで学習したGANを使用する背景ノイズ除去モジュールに画像を提供し、画像上に配置されている文字を認識することができます。GANベースの抽出後、抽出された文字は、残りのノイズからさらにフィルタリングされます。

次に、抽出されたテキストに対してセグメンテーションが実行され、輪郭検出アルゴリズムを使用して、構成要素である文字に分割されます。

文字セグメンテーションは、ピクセルグループを分離し、ボーダートレーシングを使用して認識を試みます。

最後に、推測された文字セグメントは、畳み込みニューラルネットワーク（CNN）を使用して文字認識を実行します。

文字が重なり合うことがあります。これは、機械システムを欺くために特に設計されたハイパーカーニングです。DW-GANは、ボーダーを分離して文字を分離するために、間隔ベースのセグメンテーションを使用します。単語は通常意味をなさないため、このプロセスを支援するための意味的なコンテキストはありません。

結果

DW-GANは、3つのさまざまなダークウェブデータセットと人気のあるCAPTCHAシンセサイザーからの画像に対してテストされました。画像の元になったダークマーケットは、2つのカードショップ、Rescator-1とRescator-2、および新しく登場したYellow Brick Market（後にDarkMarketの摘発後に消滅したと報告された）でした。

3つのデータセットおよびオープンソースのCAPTCHAシンセサイザーのサンプルCAPTCHA

著者によると、テストに使用されたデータは、サイバー脅威インテリジェンス（CTI）専門家によって、ダークネットマーケット全体で広く普及しているという理由で推奨されました。

各データセットのテストには、TOR向けのスパイダーを開発して、500個のCAPTCHA画像を収集し、CTIアドバイザーによってラベル付けおよびキュレーションされたものでした。

3つの実験が行われました。最初の実験では、DW-GANの一般的なCAPTCHA破壊性能を、標準的な最先端方法と比較しました。比較したのは、イランと英国の共同研究による前処理付き画像レベルCNNで、グレースケール化、正規化、ガウス平滑化を含みます。ほかに、間隔ベースの分割を用いる文字レベルCNNと、英国オックスフォード大学の画像レベルCNNを比較しました。

DW-GANの最初の実験の結果、前の最先端アプローチと比較して

研究者は、DW-GANが、すべてのテストケースで以前の結果を上回ったことを発見しました（上の表を参照してください）。

2番目の実験は、有効なフレームワークのさまざまなコンポーネントを削除または無効にして、外部要因または二次要因が結果に影響を与えていないことを確認するための消去法研究でした。

消去法研究の結果

ここでも、著者は、重要なセクションのアーキテクチャを無効にすると、ほぼすべてのケースでDW-GANのパフォーマンスが低下することを発見しました（上の表を参照してください）。

3番目のオフライン実験では、DW-GANの有効性を、ベンチマーク画像ベースの方法と2つのキャラクターレベルの方法と比較して、無意味なCAPTCHAの語長が事前に固定されず任意に変わる場合に、長さが4から7文字の条件で、DW-GANのキャラクタ評価がどの程度役立つかを判断するために行われました。

この実験では、著者は、50,000個のCAPTCHA画像で構成されるトレーニングセットを使用し、5,000個の画像をテストに予約しました。これは、典型的な90/10の分割です。

ここでも、DW-GANは以前のアプローチを上回りました:

ダークネットマーケットでのライブテスト

最後に、DW-GANは、当時ライブだったYellow Brickダークネットマーケットに対してテストされました。このテストでは、TOR向けのウェブブラウザが開発され、DW-GANがブラウジング機能に統合され、CAPTCHAチャレンジを自動的に解決しました。

このシナリオでは、CAPTCHAが平均15回のHTTPリクエストごとに自動クローラーに提示されました。クローラーは、Yellow Brickで販売されている1,831個の違法アイテム、うち1,223個の薬物関連製品（オピオイドやコカインを含む）、44個のハッキングパッケージ、9個の偽造文書スキャンをインデックス化することができました。合計で、286個のサイバーセキュリティ関連アイテム、102個の盗まれたクレジットカード、131個の盗まれたアカウントログインが特定されました。

著者は、DW-GANがすべての場合に3回以下の試行でCAPTCHAを解くことができ、1,831個の製品を保護するCAPTCHAを処理するために76分の処理時間が必要だったと述べています。人間の介入は必要ではなく、エンドポイントの故障は発生しませんでした。

著者は、テキストCAPTCHAよりも高度な複雑さを持つチャレンジの出現、特にチューリングテストをモデルにしたものを観察し、DW-GANがこれらの新しい傾向に適応できる可能性があることを指摘しています。

*コンピューターと人間を区別する完全自動化された公開チューリングテスト

2022年1月11日初めて公開。