ソートリーダー
言語モデルによる本当の危険: AIを利用した詐欺
こんなシナリオを想像してみてください。締め切りに迫られた仕事に集中している最中、母親の電話番号から電話がかかってきます。電話の向こう側の声は、確かに母親の声です。落ち着いて愛情がありますが、少し緊急性を感じる声です。她はパリで旅行中に深刻なトラブルに遭遇したと言っています。すぐに金銭的支援が必要です。彼女はパリにいることを知っているので、ホテルの名前まで詳しく話すので、電話はより信憑性があります。二度考えずに、お金を送金します。しかしその後、母親がその電話をかけたことがないことを知ります。電話の向こう側の声は、彼女の声を完璧に模倣し、詳細なシナリオを創造した高度なAIシステムでした。何が起こったのかを理解すると、背筋が凍りつきます。
このシナリオは、純粋な科学フィクションでしたが、現実になりつつあります。AI技術の登場、特に大規模言語モデル(LLM)は、驚くべき進歩をもたらしました。ただし、重大な脅威が潜んでいます。AIを利用した詐欺の可能性は、技術の進歩の地平線に新しい脅威をもたらします。電話詐欺は電話の発明以来懸念されていましたが、大規模言語モデル(LLMs)をデジタルコミュニケーションのあらゆる側面に広く統合することで、賭けは劇的に高まりました。AIの潜在能力を受け入れるにつれて、これらのますます洗練された脅威に対する防御を強化することも重要です。
電話詐欺の現在の状況
犯罪者は、多くの場合、人間のオペレーターがスクリプトを読み上げるという限界がありながらも、長年にわたって、無警戒な個人を金銭の送金や機密情報の開示に欺くことを試みてきました。電話詐欺は、現在の未熟な形態においても、依然として豊かな犯罪行為です。
米国連邦取引委員会によると、2022年だけで、アメリカ人は詐欺による損失に88億ドル以上を失いました。その大部分は電話詐欺によるものでした。これは、これらの戦術の多くがまだ効果があることを意味します。どうなるでしょうか、それらが進化するとき。
AIを利用した詐欺の未来
電話詐欺の風景は、いくつかの重要な技術の登場により劇的に変化することになります。
大規模言語モデル(LLMs)
これらのAIシステムは、人間のようなテキストを生成し、自然な会話を交わすことができます。詐欺に適用すると、LLMは非常に信憑性の高いアダプティブスクリプトを作成でき、潜在的な被害者が詐欺を特定することをより困難にします。
検索強化生成(RAG)
この技術により、LLMシステムは、実時間に大量の情報にアクセスして利用できます。詐欺師は、社会的エンジニアリング技術を使用して、被害者の友人や家族からより深い情報を収集することで、被害者のプロファイルを作成できます。被害者のアイデンティティ、仕事の情報、または最近の活動に関する情報へのアクセスが可能になります。次に、RAGを使用して、LLMに必要なコンテキストを提供し、アプローチが非常にパーソナライズされ、信憑性があるように見えます。
合成音声生成
Resemble AIやLyrebirdのようなプラットフォームは、高度にリアルなAI生成音声を作成する分野で先駆けています。これらの技術は、バーチャルアシスタントから自動化されたカスタマーサービスやコンテンツ作成まで、さまざまなアプリケーションで使用できるパーソナライズされた人間のような音声を生成できます。ElevenLabsのような企業は、ユーザーが自分の声に近い合成音声を作成できるようにすることで、さらに境界を押し広げています。デジタルインタラクションでパーソナライゼーションとエンゲージメントの新たなレベルを可能にします。
合成ビデオ生成
Synthesiaのような企業は、AI生成のアバターを使用したリアルなビデオコンテンツの作成をすでに実証しています。将来、この技術により、詐欺師は友人や家族を装ったり、完全に架空の人物を作成したりしてビデオ通話を行うことができます。詐欺に物理的なリアリズムを前例のないレベルで導入します。
AIリップシンク
Sync Labsのようなスタートアップは、生成されたオーディオをビデオ映像に同期させる高度なリップシンク技術を開発しています。これは、歴史上の人物、政治家、有名人、ほぼ誰でもの信憑性の高いディープフェイクビデオを作成するために使用できます。現実と欺瞞の境界線をさらに曖昧にします。
これらの技術の組み合わせは、心配するべき絵を描きます。AIがリアルタイムで会話を適応させ、ターゲットに関する個人情報を装備し、合成音声で会話し、さらにビデオ通話に移行できるシナリオを想像してみてください。欺瞞の可能性は、本当に巨大です。
強化されたセキュリティ対策の必要性
これらのAIを利用した詐欺がより洗練されるにつれて、アイデンティティと真実性の検証方法は、AIの進歩とともに競争する必要があります。規制と技術の進歩が、オンラインの世界を安全に保つために必要になります。
規制の改善
厳格なデータプライバシーロー: より厳格なデータプライバシーローを実施することで、詐欺師が利用できる個人情報の量を制限できます。これらの法律には、データ収集のためのより厳格な要件、強化されたユーザーの同意プロトコル、およびデータ漏洩に対するより厳しい罰則が含まれる場合があります。
最も強力なAIモデルをプライベートクラウドに配置すること: 規制により、最も強力なAIモデルが、公開ではなくプライベートでセキュアなクラウドインフラストラクチャ上でホストされることが求められる場合があります。これにより、最も高度な技術へのアクセスが制限され、悪意のある行為者がそれらを詐欺目的で使用することが困難になります。(例:https://security.apple.com/blog/private-cloud-compute/)
AI規制に関する国際協力: AI技術の世界的な性質を考えると、規制基準についての国際協力は有益である可能性があります。国際的なAI規制のためのグローバルな機関を設立することで、国境を越えたAI関連犯罪に対処することができます。
公共の認識キャンペーン: 政府や規制機関は、AI詐欺の潜在的なリスクとそれらを防ぐ方法について市民に教育する公共の認識キャンペーンに投資する必要があります。認識は、個人や組織が必要なセキュリティ対策を実施するために、第一歩として重要です。
現在のAI規制は詐欺を防ぐのに十分ではなく、将来の規制の課題は、多くの強力な技術がオープンソースであることによって複雑化しています。このオープン性により、誰でもこれらの技術にアクセスして変更できます。したがって、規制の強化とともに、セキュリティ技術の進歩も必要です。
合成データの検出
合成オーディオの検出: 詐欺師がAIを利用するにつれて、私たちの防御も同様に進化する必要があります。Pindropのような企業は、電話通話中にリアルタイムで合成オーディオを検出できるAIを駆動するシステムを開発しています。その技術は、電話通話のオーディオの1,300以上の機能を分析して、オーディオが本物の人物から来ているか、洗練されたAIシステムから来ているかを判断します。
合成ビデオの検出: 合成ビデオの検出: オーディオと同様に、ビデオもAIによって操作できます。ディープフェイクやその他の合成ビデオコンテンツの形で重大な脅威をもたらします。Deepwareのような企業は、合成ビデオを検出する技術を開発しています。Deepwareのプラットフォームは、非自然な動き、不規則な照明、ピクセル異常などの、AI生成コンテンツにしばしば存在する微妙な不一致を分析するために、先進的な機械学習アルゴリズムを使用します。これらの不一致を識別することで、Deepwareの技術は、ビデオが本物か、操作されたかを判断できます。そうすることで、個人や組織を、洗練されたビデオベースの詐欺や誤情報キャンペーンから守ります。
アイデンティティ認証の進歩
ユーザーのアイデンティティを確認するために、さまざまな方法が開発されています。これらのうちの1つ以上が、インターネットを安全にするために、間もなく主流になるでしょう。
リモート会話の2要素認証: 2要素認証(2FA)は、安全なコミュニケーションの基本的なコンポーネントのままです。この方法では、各電話通話や電子メールに、ユニークな検証コードを含むテキストメッセージがトリガーされます。2FAは基本的な認証に効果的ですが、その限界があるため、すべての状況で頼ることはできません。したがって、包括的なインターネットセーフティを確保するために、より高度な方法の開発が必要です。
行動ベースのマルチファクタ認証: 会話の開始時にアイデンティティを確認するだけでなく、将来のセキュリティシステムは、会話全体を通じて継続的に行動を分析する可能性があります。BioCatchのような企業は、ユーザーの行動に基づいてユーザープロファイルを作成するために、行動バイオメトリクスを使用しています。この技術は、初期の認証チェックに合格した場合でも、盗まれた情報を使用している可能性があることを示す、行動の異常を検出できます。
バイオメトリクスベースの認証: Onfidoのような企業は、AIを駆動するアイデンティティ検証ツールを提供し、洗練されたディープフェイクやその他のアイデンティティ詐欺を検出します。そのシステムは、文書の検証とバイオメトリクスの分析を組み合わせて、会話の相手が本当に本人であることを確認します。
高度な知識ベースの認証: 単純なセキュリティ質問を超えて、将来の認証システムは、ユーザーのデジタル足跡や最近の活動に基づいて、AIによって生成されたダイナミックな質問を組み込む可能性があります。たとえば、Proveのような電話中心のアイデンティティの専門企業は、電話のインテリジェンスと行動分析を利用してアイデンティティを検証するソリューションを開発しています。その技術は、ユーザーのデバイスの使用パターンを分析して、詐欺師が複製するのが非常に困難な「アイデンティティシグネチャ」を作成します。
ブロックチェーンベースの認証: ブロックチェーン技術は、分散化され、改ざんできないアイデンティティ検証方法を提供します。Civicのような企業は、ユーザーが個人情報を管理しながら安全な認証を提供するブロックチェーンベースのアイデンティティ検証システムの先駆者です。これらのシステムは、人のアイデンティティの検証可能で改ざん不可能なレコードを作成し、高リスク取引の管理に適しています。
結論
LLM、RAG、合成音声生成、合成ビデオ生成、リップシンク技術の融合は、ある意味で双刃の剣です。これらの進歩は、肯定的な応用に対して巨大な潜在能力を持っていますが、詐欺師によって利用された場合には、重大なリスクももたらします。
セキュリティ専門家とサイバー犯罪者の間のこの継続的なアームズレースは、デジタルセキュリティの分野における継続的な革新と警戒の必要性を強調しています。これらの強力なツールの利点を活かし、潜在的な危害を軽減するには、これらのリスクを認識し、準備する必要があります。
包括的な規制、オンラインでの新しいタイプの詐欺についての教育、最先端のセキュリティ対策への投資、および最も重要なこととして、各人がオンラインや電話でのやり取りで健康的な懐疑心を持つことが、 この新しい景色を切り抜けるために不可欠です。












