Connect with us

Unite.AI

サイバーセキュリティ 4 weeks ago
By Dr. Assad Abbas

検証可能な都市：ZKMLがスマートシティの信頼危機を解決する方法

都市生活は、インフラと公共サービスの両方を管理するため、インテリジェントシステムへの依存を強めています。例えば、交通信号は流れを最適化するためにリアルタイムで調整され、エネルギーグリッドは需要に動的に応答し、自動化システムは住宅、福祉、その他の社会プログラムの適格性を決定します。これらのシステムは、住民、車両、センサー、都市インフラからの膨大なデータを処理し、都市がより効率的かつ応答的に運営されることを可能にしています。しかし、この人工知能（AI）への依存は重大な課題を生み出しました。市民は、調査や検証ができない決定を信頼するよう求められることが多いのです。その結果、人々は自身の移動、個人情報、行動データがどのように収集、結合、利用されるかを懸念するため、公共の信頼は弱まっています。さらに、不透明なアルゴリズムが意図せずバイアスや不公平な扱いを埋め込む可能性があると、擁護団体は警告しています。さらに、規制当局は単純な保証以上のものをますます要求しています。彼らは、AIシステムが法律、政策、基本的権利に準拠していることの検証可能な証明を必要とします。その結果、ダッシュボード、レポート、監査ログなどの従来の透明性対策は、表面的な洞察しか提供しません。何が起こったかは示せますが、決定がどのようになされたか、または規則が正しく守られたかどうかを実証することはできません。したがって、ゼロ知識機械学習（ZKML）は、スマートシティにおける信頼危機に対処します。これにより、都市はAIシステムが正しく動作し、規則に準拠し、機密データを保護していることを証明できます。その結果、住民、監査人、規制当局は、個人情報を公開することなく決定を検証できます。このアプローチは、「私たちを信頼してください」から「私たちを検証してください」へと議論を転換し、検証可能な都市の基盤を形成します。そのような都市では、自動化された決定は効率的であるだけでなく、証明可能に公平で、合法的で、説明責任があり、市民のデータと権利が保護されることが保証されます。スマートシティの課題と市民の期待スマートシティは、センサー、IoTデバイス、カメラ、予測分析のネットワークに依存しています。これらのシステムは交通、エネルギー、公共安全、廃棄物を管理し、都市生活のほぼすべての側面に影響を与えるデジタルインフラを構築します。しかし、いくつかの課題が浮上しています。最初の課題はプライバシーです。移動履歴、公共料金の使用状況、健康記録、行動情報を収集する中央集権的なデータストアは、サイバー攻撃の魅力的な標的となります。いくつかの自治体は、交通システム、公共事業、機密性の高い住民情報に影響を与える侵害を報告しています。その結果、市民は広範な監視と不明確なデータ保持ポリシーを懸念しています。2つ目の課題は公平性です。AIモデルは、エネルギー、公共交通、福祉給付などのリソースを割り当てます。これらのモデルの多くはブラックボックスとして動作します。当局者は出力のみを見ることが多く、監査人は文書やベンダーの保証に頼らざるを得ません。その結果、決定が公平性の規則に従っているか、バイアスを回避しているかをリアルタイムで証明する方法がありません。3つ目の課題は個人データに対するコントロールです。多くの都市サービスは個人文書の提出を必要とします。中央集権的な保存は、住民が自身の個人情報をコントロールする力を弱め、データ漏洩のリスクを高めます。これに対し、市民は今や技術的な効率性以上のものを期待しています。彼らは、システムが公平に動作し、プライバシーを尊重し、規制に準拠していることの検証可能な証拠を要求します。したがって、都市は、AI駆動型サービスへの信頼を高める技術的・手続き的対策を採用しなければなりません。ゼロ知識機械学習（ZKML）の理解ZKMLは、なぜそれが真実であるかを明らかにすることなく、何かが真実であることを証明できる暗号学的原理に基づいています。ゼロ知識証明により、ある主体は機密性の高い詳細を明かすことなく、ある主張が成り立つことを実証できます。例えば、住民は、給与、税務記録、個人身分情報を共有することなく、補助金の受給資格を証明できます。これは、サービスへのアクセスにしばしば広範なデータ開示を必要とする従来のスマートシティアプローチを、プライバシーを維持しながら適格性を検証できるものに変えます。ZKMLはこの原理をAI駆動の意思決定に直接適用します。予測やスコアのみを生成する代わりに、ZKML対応モデルは暗号学的証明も生成します。この証明は、推論が意図された規則に従ったことを実証します。人種や正確な位置履歴などの機密性の高いフィールドが使用されなかったことを確認できます。また、モデルの重みが変更されず、出力が公平性要件や価格設定、リスクスコアリングに関する法的制限などの政策上の制約に準拠していることを検証します。このようにして、ZKMLは不透明なAIモデルを、基礎となるデータが機密のままでもその動作を数学的にチェックできる検証可能なシステムに変えます。ZKMLの初期バージョンは、ほとんどが研究プロトタイプでした。複雑なモデルやリアルタイムアプリケーションのための証明生成の高い計算コストによって制限されていました。しかし、暗号プロトコル、専用ハードウェア、エッジコンピューティングの最近の進歩により、都市レベルのインフラでの証明生成と検証が実現可能になりました。これにより、過度な遅延やコストなしに、交通管理、エネルギーグリッド、社会サービスプラットフォームにZKMLを統合することが現実的になっています。したがって、ZKMLは研究概念から、検証可能な都市の実用的な基盤へと移行し、都市AIが強力でありながら証明可能に信頼できる状態を維持できるようにしています。スマートシティの信頼危機と技術的アーキテクチャスマートシティは、交通、エネルギー、公共安全、廃棄物を管理するために、センサー、IoTデバイス、カメラ、予測分析のネットワークに依存しています。その結果、これらのシステムは都市生活のほぼすべての側面に影響を与えます。しかし、技術の急速な拡大は、市民の信頼とサービスの信頼性を損なう重大な課題を生み出しました。最初の課題はプライバシーです。中央集権的なデータストアは、移動履歴、公共料金の使用状況、健康記録、行動情報を収集します。その結果、それらはサイバー攻撃の魅力的な標的となります。多くの自治体が、交通システム、公共事業、機密性の高い住民データに影響を与える侵害を報告しています。したがって、市民は広範な監視と不明確なデータ保持ポリシーを懸念しています。2つ目の課題は公平性です。AIモデルは、エネルギー、公共交通、福祉給付などのリソースを割り当てるために使用されます。多くのモデルはブラックボックスとして動作します。当局者は出力のみを見ることが多く、監査人は文書やベンダーの保証に頼らざるを得ません。その結果、決定が公平性の規則に準拠しているか、バイアスを回避しているかをリアルタイムで証明する方法がありません。3つ目の課題は市民データのコントロールです。多くのサービスは個人文書の提出を必要とします。中央集権的な保存はデータ漏洩のリスクを高め、市民が自身の情報を管理する能力を低下させます。したがって、住民は効率性以上のものを期待しています。彼らは、サービスが公平で、安全で、規制に準拠していることの検証可能な証拠を要求します。これらの課題に対処するために、都市は、検証、説明責任、監視をAI駆動システムに統合する階層化された技術的アーキテクチャを必要としています。基盤となる層では、交通制御装置、スマートメーター、環境センサー、キオスク、車載システムなどのエッジデバイスが、ローカルの機械学習モデルを実行します。重要なことに、これらのデバイスは決定とともに暗号学的証明を生成します。このアプローチは生データを発生源に留め、露出を減らし、侵害のリスクを最小限に抑えます。渋滞制御の調整や動的価格設定の決定などのすべての推論は、承認されたモデル、政策規則、公平性制約に準拠していることを実証する証明を伴います。エッジ層の上では、都市のデータプラットフォームが証明の検証を調整し、ポリシーを施行します。これは、大量の生データではなく、証明とメタデータを収集します。この層では、中央システムが入ってくる証明を検証し、モデルの承認とバージョン管理を行い、有効な証明によって裏付けられた推論のみが実行されるようにします。検証に失敗したり規則に違反したりする決定は、フラグが立てられたりブロックされたりします。専用の整合性層は、証明と監査記録のための改ざんが明らかな保存を提供します。分散型台帳または追記専用ストアは不変の記録を維持し、機関横断的な照会と事後調査をサポートします。規制当局、裁判所、監視団体は、機密データにアクセスすることなく、コンプライアンスを独立して検証できます。最後に、市民向けインターフェースは、技術的な証明を理解可能な保証に変換します。ダッシュボードやサービス固有のポータルは、どのプロセスが検証可能な証明によって裏付けられているか、それらがどのような保証を提供するか、どのくらいの頻度で監査されるかを示します。これらのインターフェースは、住民、ジャーナリスト、擁護団体が、サービスの可用性だけでなく、信頼性を評価することを可能にします。この階層化されたアーキテクチャを通じて、スマートシティサービスは検証可能なパイプラインとして動作します。データはローカルで処理され、証明は上流に流れ、ポリシーは中央で施行され、監視機関と市民は保証を独立して検査できます。したがって、都市AIは効率的でスケーラブルであるだけでなく、安全で説明責任があり、公共の信頼に値するものになります。検証可能な都市の原則検証可能な都市は、単なるAI導入のパターン以上のものです。これは、暗号学的な説明責任と政策コンプライアンスをすべての重要なワークフローに統合するアーキテクチャ的アプローチを表しています。このアプローチは4つの核心原則によって導かれ、法的・倫理的要件を強制可能で機械検証可能な保証に変えます。最小限のデータ露出検証可能な都市では、生データではなく、暗号学的証明のみがシステム間で伝送されます。機密性の高い住民情報は、モデルが実行され証明が生成される、デバイス上や地方機関環境内などのエッジに留まります。これにより、攻撃対象領域が減少し、潜在的な侵害の影響が制限されます。さらに、データフローは、上流および下流のサービスが個人記録に直接アクセスするのではなく、「この適格性チェックは政策Xに従った」などの検証可能な声明に依存するように設計されます。コードとして統合された政策非差別規則、目的制限、データ保持スケジュールなどの法的・規制上の制約は、AIモデルとともに動作する機械可読な政策として表現されます。推論中、これらの政策は自動的に施行され、ZKML証明は、禁止された特徴が使用されなかったこと、保持期間が尊重されたこと、公平性や価格設定の制約が適用されたことを実証します。その結果、コンプライアンスは事後の監査作業ではなく、システムの実行時特性となります。独立した暗号学的検証外部の関係者は、独自のモデルや生データへのアクセスを必要とせずに、ZKMLで生成された証明を検証できます。これにより、規制当局、裁判所、監査人、市民社会組織は、宣言された規則に決定が準拠していることを独立して確認できます。したがって、検証インターフェース、標準化されたAPI、証明フォーマット、ツールは、アーキテクチャの不可欠な構成要素です。これらは、監視機関がセキュリティや機密性を損なうことなく都市のAIシステムを評価することを可能にします。市民向けの透明性暗号学的層の上に、都市は検証可能性の人間が読めるビューを提供します。公開ダッシュボード、レポート、インターフェースは、どのプロセスがZKMLによって裏付けられているか、およびそれらが「保護属性は使用されていない」や「価格設定は政策Yによって制限されている」などのどのような保証を提供するかを示します。これらのインターフェースは、機密データやモデルの内部を公開しません。代わりに、技術的な保証を理解可能なコミットメントに変換し、住民、ジャーナリスト、擁護団体が運用を精査できるようにします。時間の経過とともに、検証可能性ステータスは、セキュリティ認証と同様に、サービスの目に見える属性として機能し、単に「スマート」なシステムと真に説明責任のあるシステムを市民が区別するのに役立ちます。都市AIのための一貫したフレームワーク最小限のデータ露出、政策としてのコード、独立した検証、市民向けの透明性が一体となって、一貫性のあるフレームワークを創出します。このフレームワークは、AI駆動の都市システムが約束によってではなく、設計によって説明責任を持つことを保証します。さらに、それは技術的アーキテクチャを法的義務と公共の期待に一致させ、都市がプライバシー、公平性、合法的な運用の証明可能な保証を維持しながら自動化を拡大することを可能にします。都市システムにおけるZKMLの応用ZKMLは、都市AIシステムを効果的かつ説明責任のあるものにすることができます。モビリティ管理において、交通センサーと料金徴収システムは、リアルタイムの状況に応じて信号のタイミングと混雑料金を調整します。従来、これらの決定は、コストや移動の遅延を増加させることによって、低所得の通勤者などの特定のグループに意図せず負担をかける可能性がありました。ZKMLを使用すると、システムはこれらの調整が公平性規則に従っていることの暗号学的証明を提供できます。これにより、個人の旅行データはすべて機密のままに、どのグループも不釣り合いに影響を受けないことが保証されます。公共安全において、予測モデルはパトロールの配分や異常な活動の検出を支援します。通常、公平性と政策コンプライアンスを検証するには、住民の位置情報や人口統計情報などの機密データへのアクセスが必要です。ZKMLにより、これらのモデルは、人種、宗教、正確な住所などの保護属性を除外したことの証明を生成できます。監査人と監督者は、個人データを見ることなく、決定が確立された規則に準拠していることを確認できます。ZKMLは、住宅や福祉を含む社会プログラムも強化します。適格性チェックは住民のデバイス上で直接実行され、決定がすべての規則に準拠したことの証明を生成できます。規制当局は、生の個人文書にアクセスすることなく、何千ものこれらの決定を公平性とコンプライアンスについて監査できます。このアプローチは、プライバシーを保護しながら、都市サービス全体の透明性と説明責任を確保します。要するに、ZKMLは都市におけるAIを、不透明なブラックボックスから検証可能なシステムへと変革します。住民、当局者、規制当局は、自動化された決定が公平で、合法的で、プライバシーを保護するものであるという確信を得て、検証可能な都市の基盤を創出します。ZKMLの採用と課題都市システムへのZKMLの実装には、慎重な計画と段階的な実行が必要です。都市はまず、すべてのAI駆動システムをマッピングし、住民への潜在的な影響と運用リスクに従って評価すべきです。警察、福祉サービス、エネルギー管理などの優先度の高い分野から最初に対処すべきです。これに続いて、当局は、どの決定が証明を必要とするか、必要な詳細レベルを含む、検証可能性要件を定義する必要があります。特定の管理可能なケースに焦点を当てたパイロットプロジェクトは、都市が他のシステムに拡大する前に、実現可能性をテストしプロセスを改善するのに役立ちます。さらに、公衆とのコミュニケーションが重要です。住民は、証明ベースのプロセスがどのように機能し、ZKMLがどのように公平性、プライバシー、コンプライアンスを確保するかを理解しなければなりません。明確な説明は信頼を構築し、検証可能なAIシステムの受け入れを促進します。同時に、都市は実用的な課題を管理しなければなりません。暗号学的証明の生成は計算リソースを要求し、運用コストを増加させる可能性があります。より大きなモデルはより長い証明を生成し、慎重な処理を必要とする潜在的な遅延を生み出す可能性があります。多くの自治体インフラは検証可能なAIのために設計されていないため、レガシーシステムとの統合は困難です。さらに、既存の調達および規制フレームワークはまだ検証可能性を義務付けていないため、政策と契約の更新が必要です。暗号学的証明に関する公衆の理解は限られており、当局は誤解を避けるためにこれに対処しなければなりません。それにもかかわらず、構造化されたロードマップと技術的・社会的課題への積極的な管理により、都市はZKMLを効果的に実装できます。このアプローチは都市AIを強化し、説明責任を確保し、法的・倫理的基準へのコンプライアンスを維持しながら、自動化された意思決定への公共の信頼を徐々に構築します。結論都市生活は自動化システムへの依存を強めていますが、技術だけでは公平性、プライバシー、説明責任を保証できません。したがって、都市は、決定が正しく責任を持って行われたことを証明する解決策を必要としています。ゼロ知識機械学習を使用することにより、都市当局はAIシステムが規則に従い機密データを保護していることを示すことができ、市民と監査人は結果を独立して検証できます。さらに、このアプローチは公共の信頼を強化し、都市サービスの責任ある管理を促進します。したがって、検証可能な都市は、効率性、透明性、信頼が協力して都市をすべての人にとってより安全で、公平で、包括的なものにする、都市ガバナンスの新たな基準を表しています。
サイバーセキュリティ 1 month ago
By Alex McFarland

OpenAI、AIブラウザーは完全に安全になることはないかもしれないと認める

OpenAIは12月22日、衝撃的な認めを含むセキュリティに関するブログ記事を公開した：AIブラウザーに対するプロンプトインジェクション攻撃は「完全に解決されることはないかもしれない」。この認めは、同社が自律エージェント機能を備えたブラウザーChatGPT Atlasを発表してからわずか2ヶ月後に訪れた。同社はプロンプトインジェクションを「ウェブ上の詐欺やソーシャルエンジニアリング」に例えた——防御側が排除するのではなく管理する持続的な脅威である。ユーザーに代わってインターネットをナビゲートするようAIエージェントを信頼するユーザーにとって、この見方は、どれだけの自律性が適切かという根本的な疑問を提起する。OpenAIが明らかにしたことこのブログ記事は、Atlasのための防御アーキテクチャについて説明しており、悪意のある攻撃者が脆弱性を見つける前にそれを探す、強化学習を利用した「自動化された攻撃者」を含んでいる。同社は、この内部レッドチームが「人間によるレッドチーミングキャンペーンや外部報告には現れなかった新たな攻撃戦略」を発見したと主張している。あるデモンストレーションでは、ユーザーの受信箱をチェックしているAIエージェントを、悪意のあるメールがどのように乗っ取るかを示した。指示通り不在通知の返信を下書きする代わりに、侵害されたエージェントは退職メッセージを送信した。OpenAIは、最新のセキュリティアップデートでこの攻撃を捕捉できるようになったと述べている——しかし、この例は、AIエージェントがセンシティブな文脈で自律的に行動する際のリスクの大きさを説明している。自動化された攻撃者は「エージェントを巧妙で長期的な有害なワークフローを実行するように仕向けることができ、それは数十（あるいは数百）のステップにわたって展開する」とOpenAIは記した。この能力は、OpenAIが外部の攻撃者よりも速く欠陥を見つけるのに役立つが、プロンプトインジェクション攻撃がいかに複雑で損害を与えうるものになり得るかも明らかにしている。根本的なセキュリティ問題プロンプトインジェクションは、大規模言語モデルの基本的な限界を悪用する：それらは、正当な指示と処理するデータに埋め込まれた悪意のあるコンテンツを確実に区別することができない。AIブラウザーがウェブページを読み取るとき、そのページ上のあらゆるテキストがその動作に影響を与える可能性がある。セキュリティ研究者はこれを繰り返し実証してきた。AIブラウザーは、中程度の自律性と非常に高いアクセス権を組み合わせている——セキュリティ分野において困難な立場である。これらの攻撃には高度な技術は必要ない。ウェブページ上の隠されたテキスト、巧妙に作成されたメール、文書内の見えない指示はすべて、AIエージェントを操作して意図しない行動を実行させることができる。一部の研究者は、ユーザーの画面の写真をAIが撮影したときに実行される、スクリーンショットに隠された悪意のあるプロンプトを示している。OpenAIの対応策OpenAIの防御策には、敵対的に訓練されたモデル、プロンプトインジェクション分類器、そしてセンシティブなアクションの前にユーザーの確認を求める「速度抑制」が含まれる。同社は、ユーザーがAtlasがアクセスできるものを制限することを推奨している——ログインアクセスの制限、支払いやメッセージ送信前の確認要求、広範な指示ではなく狭い指示を提供することなどである。この推奨事項は示唆に富んでいる。OpenAIは本質的に、自社の製品を疑いの目で見て、エージェント型ブラウザーの魅力である自律性そのものを制限するよう助言している。AIブラウザーに受信箱全体の処理や財務管理を任せたいユーザーは、同社自身が推奨しないリスクを負っていることになる。このセキュリティアップデートは、プロンプトインジェクション攻撃の成功率を低下させる。その改善は重要だが、それはまた、残存する攻撃対象領域が持続することを意味する——そして攻撃者はOpenAIが展開するあらゆる防御策に適応するだろう。業界全体への影響OpenAIだけがこれらの課題に直面しているわけではない。Chromeのエージェント機能に対するGoogleのセキュリティフレームワークには、提案されたすべてのアクションを審査する別個のAIモデルを含む、複数の防御層が含まれている。PerplexityのCometブラウザーも、Braveのセキュリティ研究者から同様の精査を受けており、悪意のあるウェブページに移動すると有害なAIアクションがトリガーされる可能性があることが判明した。業界は共通の理解に収束しつつあるようだ：プロンプトインジェクションは修正すべきバグではなく、根本的な限界である。これは、AIエージェントが複雑でセンシティブなタスクを自律的に処理するというビジョンに重大な意味を持つ。ユーザーが考慮すべきこと率直な評価は居心地の悪いものだ：AIブラウザーは、より優れたエンジニアリングによって排除することのできない本質的なセキュリティ上の限界を持つ有用なツールである。ユーザーは、どのベンダーも完全に解決できない、利便性とリスクの間のトレードオフに直面している。OpenAIのガイダンス——アクセスを制限し、確認を要求し、広範な指示を避ける——は、製品のよりパワフルでないバージョンを使用するよう助言するものに等しい。これは冷笑的なポジショニングではなく、現在の限界に対する現実的な認識である。より多くのことができるAIアシスタントは、より多くのことをするように操作される可能性もまた高い。従来のウェブセキュリティとの類似点は参考になる。ユーザーはフィッシング攻撃が出現してから数十年経ってもまだ引っかかる。ブラウザーは今も毎日何百万もの悪意のあるサイトをブロックしている。脅威は防御が恒久的に解決するよりも速く適応する。AIブラウザーはこのよく知られた力学に新たな次元を加える。人間がブラウジングするとき、彼らは何が怪しいかについての判断を持ち込む。AIエージェントはすべてを等しく信頼して処理するため、より能力が高まるにつれて、操作に対してより脆弱になる。今後の展望OpenAIの透明性は評価に値する。同社は、根本的な問題の持続を認めずに、静かにセキュリティアップデートを出荷することもできた。代わりに、攻撃ベクトルと防御アーキテクチャの詳細な分析を公開した——この情報は、ユーザーが情報に基づいた決定を下し、競合他社が自らの保護を改善するのに役立つ。しかし、透明性は根本的な緊張を解決しない。AIエージェントがより強力になるほど、それらはより魅力的な標的を提示する。Atlasが複雑なワークフローを処理できるようにするのと同じ能力が、巧妙な攻撃の機会も生み出す。今のところ、AIブラウザーのユーザーは、それらを監督なしにセンシティブなタスクを処理できる完全自律型のデジタルアシスタントとしてではなく、意味のある限界を持つ強力なツールとして扱うべきである。OpenAIはこの現実について異例の率直さを示した。問題は、業界のマーケティングがセキュリティチームがすでに知っていることに追いつくかどうかである。
サイバーセキュリティ 2 months ago
By Zac Amos

企業は次のAIサイバー攻撃の波に備えられているか？

現在の傾向を分析することで、専門家はサイバー犯罪者が将来どのように人工知能を活用するかを予測できます。この情報をもとに、彼らは最大の新興脅威を特定し、企業が準備できているかどうかを判断できます。解決策を見出すことさえできるかもしれません。近年のAI脅威の状況AI技術は比較的新しいものですが、すでにハッカーにとって主要なツールとなっています。これらの傾向は、AIを利用したサイバー攻撃が増加していることを示唆しています。1. モデル改ざん大規模言語モデル（LLM）を直接標的にすることで、脅威行為者はモデルの動作を操作し、出力精度を低下させたり、個人を特定できるトレーニングデータを暴露したりできます。データポイズニングやプロンプトエンジニアリングが一般的な攻撃手法です。一部の攻撃は、混乱を引き起こしたり機密情報を盗んだりしようとする脅威行為者によって主導されます。他の攻撃は、自身の作品をAIによるスクレイピングから守りたい不満を持つアーティストによって仕掛けられることもあります。いずれにせよ、企業とそのエンドユーザーは悪影響を受けます。2. なりすまし攻撃2024年、フェラーリの幹部はCEOのベネデット・ヴィーニャから複数のWhatsAppメッセージを受け取りました。ヴィーニャは差し迫った買収について話し、従業員に秘密保持契約に署名するよう促しました。彼は資金調達について話し合うために電話さえかけました。一つ問題がありました — それは彼本人ではなかったのです。このディープフェイクはほぼ完璧で、ヴィーニャの南イタリア訛りを非常に上手く模倣していました。しかし、声のわずかな不一致が、幹部に詐欺であることに気づかせました。その従業員は、ヴィーニャが数日前に推薦した本のタイトルについて尋ねました。これは本物のCEOだけが答えを知っている質問でした。詐欺師はすぐに電話を切りました。AIは人の声、ブラウジング行動、文章スタイル、外見を複製できます。この技術が進歩するにつれ、ディープフェイクを見破ることはますます困難になっています。詐欺師は標的を緊急事態に追い込み、些細な矛盾を疑うことを阻止しようとすることがよくあります。3. AIフィッシングかつては、不自然な文法、不審なリンク、一般的な挨拶、場違いな要求を探すことで、人はフィッシングメールを見分けることができました。今では、自然言語処理技術により、ハッカーは完璧な文法で信じられるメッセージを作成できます。研究者によると、完全に自動化されたAI対応のスピアフィッシングメールのクリックスルー率は54%で、これは人間が書いたフィッシングメールと同等です。これらの詐欺はより説得力があるため、ますます一般的になっています。調査によると、フィッシングメールの80%以上にAI関与の証拠が見られます。4. ソーシャルエンジニアリングソーシャルエンジニアリングとは、誰かを操作して行動を起こさせたり情報を漏洩させたりすることです。AIにより、ハッカーはより速く応答し、より説得力のあるメッセージを作成できます。あらゆる自然言語処理モデルは意味解析を行い、受信者の感情状態を特定できるため、彼らが屈服しやすくなります。ソーシャルエンジニアリング技術を強化することに加え、機械学習技術は従来の参入障壁を下げ、初心者が高度なキャンペーンを実行できるようにします。誰もがサイバー犯罪者になれるなら、誰もが標的になり得ます。次のデータ駆動型AI攻撃の波2026年初頭には、AI攻撃は低い成熟度レベルに留まると予想されます。しかし、年が進むにつれて指数関数的に進歩し、サイバー犯罪者が最適化、展開、スケーリングの段階に入れるようになります。彼らはまもなく完全に自動化されたキャンペーンを開始できるようになるでしょう。AIサイバー攻撃の確認された例は、長く珍しいものではなくなるでしょう。ポリモーフィックマルウェアは、検出を回避するために複製のたびにコードを変更できるAI対応ウイルスです。攻撃者はAIエコシステムを通じてペイロードを配信したり、実行時にLLMを呼び出してコマンドを生成したり、ウイルスをLLMに直接埋め込んだりできます。Google脅威インテリジェンスグループは、敵対者がこのマルウェアを初めて配備したのを2025年に発見しました。マルウェアファミリーはPROMPTFLUXとPROMPTSTEALです。実行中、これらはLLMを使用してVBScriptの難読化と回避技術を要求します。これらはオンデマンドで自身のコードを難読化することにより、シグネチャベースの検出を回避します。証拠は、これらの脅威がまだテスト段階にあることを示唆しています — 一部の不完全な機能はコメントアウトされており、アプリケーションプログラミングインターフェース呼び出しは限られています。これらの未熟なAIマルウェアファミリーはまだ開発中かもしれませんが、その存在そのものが、自律的で適応的な攻撃技術の方向への大きな前進を表しています。NYU Tandonの研究によると、LLMはすでにランサムウェア攻撃（Ransomware 3.0と呼ばれる）を自律的に実行できます。これらは、人間の関与なしに偵察、ペイロードの生成、恐喝のパーソナライズを行うことができます。必要なのはバイナリに埋め込まれた自然言語プロンプトだけです。このモデルは、実行環境に適応するために実行時に悪意のあるコードを動的に生成するポリモーフィックな亜種を生み出します。企業はAI攻撃に備えられているか？何十億ドルものサイバーセキュリティ支出にもかかわらず、民間企業は進化する脅威環境に追いつくのに苦労し続けています。機械学習技術は既存の検出・対応ソフトウェアを時代遅れにし、防御をさらに複雑にする可能性があります。多くの企業が基本的なセキュリティ基準を満たしていないことも事態を改善しません。2024年のDIBサイバーセキュリティ成熟度レポートは、米国防産業基盤（DIB）の400人の情報技術専門家を調査しました。回答者の半数以上が、同等のNIST 800-171準拠が国防総省（DoD）契約で2016年から規定されているにもかかわらず、Cybersecurity Maturity Model Certification（CMMC）2.0準拠までにあと数年かかると報告しました。多くの企業は自社のセキュリティ態勢を実際よりもはるかに優れていると評価しています。新しいCMMC要件は2025年11月10日に発効しました。今後、すべてのDoD契約では、契約授与の条件として何らかのレベルのCMMC準拠が要求されます。新しい規則はDIBのサイバーセキュリティを強化することを目的としていますが、AIの時代に効果的でしょうか？防御的AIが答えか？火には火で戦うことが、AI攻撃の必然的な急増に対抗する唯一の方法かもしれません。防御的AIにより、組織は脅威にリアルタイムで動的に対応できます。しかし、このアプローチには独自のセキュリティ上の欠陥が伴います — モデルを改ざんから保護するには、継続的な監視と監査が必要になります。Harvard Business Reviewによると、従来のソリューションでは企業はAIサイバー攻撃に対して脆弱なままです。サイバーレジリエンスを達成するには、機械学習技術を使用して脅威を予測し、自動的に対応しなければなりません。防御的AIがこの問題の解決策かどうかについて、簡単な答えはありません。企業は実証されていない機械学習ツールの導入にリソースを注ぐべきでしょうか、それとも情報技術チームを拡大すべきでしょうか？長期的にどの投資が報われるかを予測することは不可能です。大企業は自動化されたサイバーセキュリティで大きなリターンを得るかもしれませんが、中小企業はコストを正当化するのに苦労するかもしれません。従来の自動化技術ははるかに低い価格でギャップを埋められるかもしれませんが、動的な脅威に対応することはできません。Information Security ForumのCEO、Steve Durbinは、AI導入には大きな利点があるが、重大な欠点もあると述べています。例えば、企業はしばしば誤検知アラートの急増を経験し、セキュリティチームの時間を浪費します。さらに、AIへの過度の依存は、チームが過信に陥り、セキュリティ上の不備を引き起こす可能性があります。AI脅威環境をナビゲートする脅威環境におけるAIの存在範囲を正確に判断することは不可能です。なぜなら、攻撃者は実行時に使用するのではなく、悪意のあるコードを作成したりフィッシングメールを下書きしたりするためにそれを利用できるからです。単独のサイバー犯罪者や国家が支援する脅威グループが大規模に使用している可能性があります。入手可能な情報から判断すると、モデル改ざん、AIフィッシング、ポリモーフィックマルウェアが2026年の最大のサイバー脅威となるでしょう。サイバー犯罪者は、金融などの高価値産業だけでなく一般の人々も標的にして、悪意のあるペイロードを生成、配信、適応させるためにLLMの使用を続ける可能性が高いです。
サイバーセキュリティ 2 months ago
By Alex McFarland

Google、ChromeのAIエージェント機能のセキュリティアーキテクチャを詳細に説明

Googleは、Chromeの近々導入される自律型AI機能の詳細なセキュリティフレームワークを公開し、Geminiを搭載したエージェントが自律的なブラウジングタスクを実行する際にユーザーを保護するために設計された複数の防御層を導入しました。Chromeのセキュリティエンジニア、Nathan Parkerによる発表では、AIエージェントがユーザーに代わってウェブサイトとどのようにやり取りするかを規定する4つのコアとなるセキュリティの柱が概説されています。このアーキテクチャは、プロンプトインジェクション攻撃、不正なデータアクセス、不正取引など、初期の自律型システムを悩ませてきたリスクに対処します。Googleのアプローチは、競合他社がブラウザベースのAIエージェントの提供を急ぐ中で発表されました。OpenAIは10月にエージェントモード機能を備えたChatGPT Atlasを立ち上げ、Perplexityは7月にCometブラウザをリリースしています。このセキュリティフレームワークは、研究者によって既に悪用の脆弱性が示されている競合他社よりも慎重に進めようとするGoogleの意図を示しています。エージェントセキュリティの4つの柱最初の防御層となるのは「ユーザーアライメント批評家」です。これは、主要なAIエージェントが提案するすべてのアクションを審査する別個のGeminiモデルです。この批評家は隔離された状態で動作し、完全なページコンテンツではなく、提案されたアクションに関するメタデータのみを検査するため、悪意のある入力にさらされるリスクを低減します。アクションがリスクがある、またはユーザーの表明した目的と無関係であると思われる場合、批評家は再試行を命じるか、ユーザーに制御を戻すことができます。「オリジンセット」は、エージェントが特定のタスク中にアクセスできるウェブサイトとページ要素を制限します。このシステムは、エージェントがコンテンツを閲覧できる読み取り専用オリジンと、アクションを実行できる読み書き可能なオリジンとを区別します。無関係なウェブサイトやiframeは完全に遮断され、新しいドメインへのアクセスを承認するには信頼できるゲート機能が必要です。これにより、サイト間でのデータ漏洩を防止し、侵害されたエージェントによる潜在的な損害を制限します。「ユーザー監視」は、機密性の高い操作に対して手動での確認を要求します。エージェントが銀行ポータル、医療データサイトに遭遇した場合、またはGoogleパスワードマネージャーから保存された認証情報にアクセスする必要がある場合、Chromeは一時停止し、ユーザーにアクションの承認を促します。これは、購入やメッセージ送信の前にも同様に適用され、エージェントはこれらのアクションを自律的に完了することはできません。「プロンプトインジェクション検出」は、間接的なプロンプトインジェクションの試みをリアルタイムでページをスキャンする専用の分類器を採用しています。このシステムは、Chromeの既存のSafe Browsingインフラストラクチャおよびオンデバイスの詐欺検出と連携して動作し、エージェントが悪意のあるコンテンツに基づいて行動する前に、疑わしいコンテンツをブロックします。自動化されたレッドチーミングとバグ報奨金Googleは、セキュリティアーキテクチャを継続的に検証するために、テストサイトとLLM駆動の攻撃を生成する自動化されたレッドチーミングシステムを開発しました。同社は、特に金融取引や認証情報の窃取を標的とするような、持続的な被害を引き起こす可能性のある攻撃ベクトルのテストを優先しています。Chromeの自動更新メカニズムは、新しい脆弱性が発見されると迅速に修正を配信します。外部のセキュリティ研究を促進するため、Googleは自律型ブラウジングフレームワークの弱点を特定した研究者に対して最大20,000ドルの報奨金を支払うことを発表しました。これらの防御策は、初期のAIブラウザ拡張機能やチャットボット統合から得られた教訓を反映しており、それらではプロンプトインジェクション攻撃がAIの動作を操作するのに驚くほど効果的であることが証明されていました。批評家モデルを隔離し、ブラウザレベルでオリジンアクセスを制限することで、Googleはウェブページ自体が攻撃対象となることを防ぐことを目指しています。AIブラウザ競争への影響Googleの詳細なセキュリティ開示は、競合する自律型ブラウザシステムに関する相対的な不透明さとは対照的です。同社は、企業やセキュリティ意識の高いユーザーが、先行者利益よりも透明性のある保護策を評価すると賭けているようです。このアーキテクチャはまた、GoogleがAIエージェントにとって許容できる自律性と考えるものを示唆しています。買い物、調査、フォーム入力は監視下で進めることができますが、金融口座、医療データ、保存された認証情報に触れるものについては、明確な人間の承認が必要です。これは、他のベンダーが公に定義することをあまり望んでいなかった明確な一線を引いています。Chromeのプラットフォーム上で構築する開発者にとって、オリジンセットの制限は、自律型機能がマルチサイトのワークフローとどのように相互作用するかを慎重に考慮する必要があります。エージェントがドメインを自由に移動することを期待するアプリケーションは、Googleのセキュリティモデル内で動作するためにアーキテクチャの変更が必要になる可能性があります。Googleは、Chromeでの自律型ブラウジング機能の具体的なリリース日を発表していませんが、詳細なセキュリティフレームワークは展開が近づいていることを示唆しています。リリース前に防御アーキテクチャを公開する同社の姿勢は、このアプローチに対する自信、そして競合他社に対し同様の透明性を求める暗黙の挑戦を示しています。
サイバーセキュリティ 2 months ago
By Alex McFarland

AWS、連邦政府向けAIインフラ拡張に500億ドルを投資

Amazon Web Services（AWS）は、米国政府機関向けの人工知能およびスーパーコンピューティングインフラを拡張するために500億ドルの投資を発表しました。これは、2011年にGovCloudを立ち上げて以来、同社の連邦政府向けクラウド容量に対する最大のコミットメントとなります。この複数年にわたるプロジェクトでは、AWS Top Secret、AWS Secret、およびAWS GovCloud（US）リージョン全体で1.3ギガワットのコンピュート容量が追加されます。これは、Amazonの公式発表で明らかになりました。建設は2026年に始まり、機密およびセンシティブな政府ワークロード向けに特別に構築されたネットワーキングおよびコンピュート技術を備えた先進的なデータセンターを全国に分散配置します。AWSのCEOであるマット・ガーマン氏は、このインフラが連邦政府の能力を制限してきた技術的障壁を取り除くと述べました。「我々は、サイバーセキュリティから創薬に至るまで、重要なミッションを加速することを可能にする先進的なAI機能へのアクセスを、各機関に拡大して提供しています」と、ガーマン氏は発表の中で述べています。連邦政府機関は、モデルトレーニング用のAmazon SageMaker AI、デプロイメント用のAmazon Bedrock、AnthropicのClaudeチャットボット、AWS Trainium AIチップ、およびNVIDIA AIインフラへのアクセスが拡大されます。このプラットフォームは独自およびオープンソースの基盤モデルの両方をサポートし、各機関が特定のミッション要件に合わせてソリューションをカスタマイズできるようにします。国家安全保障と科学研究を対象にこの投資は、国家安全保障、自律システム、科学研究、エネルギー革新、医療における能力強化を目的としています。AWSは現在、世界中で11,000以上の政府機関にサービスを提供しており、その中には連邦、州、地方レベルでの米国の機関が7,500以上含まれます。この拡張は、AWSの14年にわたる政府向けクラウドサービスの歴史の上に築かれています。同社は、防衛関連データの国際武器取引規則（ITAR）コンプライアンスに対応するため、2011年8月に最初のGovCloudリージョンを立ち上げました。AWSは2018年に2つ目のGovCloudリージョンを追加し、非機密、センシティブ、機密、極秘という米国政府の全データ分類にわたって認可された最初のクラウドプロバイダーとなりました。AWSは、その政府向けリージョンについて、FedRAMP High認可および国防総省クラウドコンピューティングセキュリティ要件ガイドライン（SRG）レベル4-5認証を取得しています。このインフラは物理的および論理的に分離されて運用され、連邦政府のセキュリティ要件を満たすため、米国市民のみがアクセスできます。連邦政府のAI導入の拡大この発表は、情報分析から公衆衛生モニタリングに至るまで、政府業務におけるAIツールへの需要増加を捉えるためのAWSの姿勢を示しています。連邦政府機関は、レガシーシステムの近代化と複雑なワークフローの自動化のためにクラウドベースのAIサービスの導入を進めてきましたが、調達プロセスは民間での導入よりも遅いままです。AWSは、Microsoft Azure GovernmentおよびGoogle Cloudと連邦政府契約を競っており、各プロバイダーは機密ワークロード向けの専用インフラを維持しています。500億ドルの投資（過去のAWSの容量拡張の10倍の規模）は、同社が今十年の終わりまで持続的な連邦政府のAI需要を見込んでいることを示しています。このプロジェクトは複数の州で建設および運用の雇用を創出しますが、AWSは具体的な雇用数や施設の場所については明らかにしていません。同社は、サプライチェーン全体でセキュリティクリアランスを維持するため、機密インフラ構築には米国の請負業者を使用すると述べています。AWSは、拡張された容量を情報機関、国防省、民間機関、および連邦政府資金による研究機関に提供する計画です。新しいAIインフラの価格体系は発表されていませんが、政府顧客は通常、使用量のコミットメントと分類レベルに基づいてカスタム契約を交渉します。
サイバーセキュリティ 3 months ago
By Alex McFarland

Anthropic、AI自動化による初の大規模サイバー攻撃を明らかにする

Anthropicは、中国の国家支援グループと疑われるハッカー集団が、同社のClaude Codeツールを使用してキャンペーンの80〜90％を自動化し、人的介入を最小限に抑えて実行された、初めて文書化された大規模サイバー攻撃を行ったことを明らかにしました。攻撃者は、主要なテクノロジー企業、金融機関、化学メーカー、政府機関にまたがる約30の組織を標的としました。ほとんどの攻撃は阻止されましたが、キャンペーンは少数のケースで成功しました。Claude Codeは、偵察、脆弱性テスト、認証情報の収集、データの持ち出しをほぼ自律的に実行し、人間のオペレーターは重要な意思決定ポイントでのみ必要とされました。Anthropicの完全なレポートはこちらからお読みいただけます。攻撃手法とAI操作ハッカーは、高度なソーシャルエンジニアリングを通じてClaudeの安全ガードレールを回避しました。彼らは、正当なサイバーセキュリティ企業の従業員を装い、防御テストを実施していると主張することでAIシステムを欺きました。攻撃者はまた、操作を小さな、一見無害なタスクに分割し、Claudeに悪意のある全体的な目的について不完全な文脈のみを提供しました。Claude Codeは、標的組織のシステムを調査して高価値のデータベースを特定し、人間のハッカーよりも速くこの偵察を実行し、セキュリティの脆弱性をテストするためのカスタムエクスプロイトコードを調査および作成しました。このシステムは、さらなるネットワークアクセスのためにユーザー名とパスワードを収集し、その後、諜報価値に応じて個人データを抽出して分類しました。攻撃者は、実質的にボタンをクリックするだけでキャンペーンを実行でき、その後、AIは人間のチームでは不可能な速度でほぼ自律的に動作しました。しばしば1秒間に数千のリクエストを送信しました。検知と企業対応Anthropicは2025年9月中旬にこの攻撃を検知し、直ちに調査を開始しました。10日以内に、同社はグループのClaudeへのアクセスを遮断し、影響を受けた組織に連絡を取り、法執行機関に通知しました。同社はそれ以来、検知能力を拡大し、大規模で分散した攻撃を調査・検知するための追加手法を開発しています。このインシデントは、Anthropicが2025年に文書化した以前の悪用事例に続くものです。8月、同社の脅威インテリジェンスレポートは、GTG-2002として追跡されたデータ強要作戦を詳述しました。これは、医療、緊急サービス、政府、宗教機関にまたがる少なくとも17の組織を標的とした大規模な窃盗を実行するためにClaude Codeを使用したものでした。その犯罪者は、従来のランサムウェアによる暗号化ではなく、盗まれたデータを暴露すると脅迫することで、50万ドルを超える身代金を要求しました。Anthropicの検知インフラストラクチャは、数百万のAPIリクエストにわたる使用パターンを監視する行動分析、正当な使用と矛盾する一連の操作を特定する異常検知、既知および新規の操作手法を認識するパターンマッチングなど、複数の階層化された技術に依存しています。同社は、潜在的に有害なリクエストについてユーザー入力を分析し、Claudeの応答を配信前または配信後に評価する専門の分類器を採用しています。業界への影響このキャンペーンは、サイバー攻撃における前例のないレベルのAI自律性を伴い、セキュリティ専門家がサイバー諜報活動の転換点と見なすものを示しています。AIシステムが、最小限の人間の監督下で機械の速度で高度な攻撃を実行する能力は、サイバーセキュリティ防御者にとって新たな課題を提起します。Anthropicの開示は、AI企業が自社モデルの悪意ある使用を防止するための圧力の高まりに直面している中で行われました。同社は、Claudeの悪用を検知し対抗するための包括的な脅威インテリジェンスおよび保護プログラムを維持しており、2025年を通じて文書化されたセキュリティインシデントがあります。3月には、Claudeを利用して複数の国と言語にわたる数万のソーシャルメディアアカウントとのエンゲージメントを自動化した、影響力サービスとしての作戦を特定しました。このインシデントは、AIを活用したツールの高度化と、正当なユーザーのための有用性を維持しながらその悪用を防止する課題を浮き彫りにしています。Anthropicは関連するアカウントを禁止しており、進化する脅威の状況に対処するために、検知および緩和能力の強化を続けています。

More Posts