マシンラーニングモデルをあなたについて忘れさせる

マシンラーニングモデルに寄与した特定のデータを削除することは、すでにコーヒーに入れた2杯目の砂糖を取り除くことに似ています。データはすでにモデル内の多くのニューロンと密接に結びついています。如果データポイントがトレーニングの初期段階で関与した「定義」データを表す場合、その削除はモデルが機能する方法を根本的に再定義する可能性があり、または時間とお金の費用を払ってモデルを再トレーニングする必要があります。

それでも、少なくともヨーロッパでは、一般データ保護規則（GDPR）の第17条は、企業がユーザーのデータを削除することを要求しています。法律は、データの削除がデータベースの「ドロップ」クエリーよりも多くないと考えられており、EUの人工知能法案の草案から生じる立法は、実際のデータではなく、トレーニング済みのAIシステムに適用される法律にGDPRの精神をコピーして貼り付けます。

世界中で、個人がマシンラーニングシステムから自分のデータを削除することを要求する権利を与える法案が検討されています。2018年のカリフォルニア州消費者プライバシー法（CCPA）は、すでに州の住民にこの権利を提供しています。

なぜ重要か

データセットがアクティブなマシンラーニングモデルにトレーニングされると、データの特性は一般化され、抽象化されます。モデルはデータから原則と広範な傾向を推論するように設計されているため、最終的に特定の非一般化されたデータを分析するために有用なアルゴリズムを生成します。

しかし、モデル逆転などの技術は、最終的な抽象化されたアルゴリズムの下にある寄与データを再識別する可能性を明らかにしました。また、メンバーシップ推論攻撃も、匿名性の約束のもとにのみデータセットに含めることが許可された機密データを含むソースデータを公開することができます。

この追求に対する関心の高まりは、草の根のプライバシー活動に頼る必要はありません。マシンラーニングの分野が次の10年間に商業化され、国々が現在の自由放任文化を終わらせる圧力を受けるにつれて、IPを執行する組織（およびIPトロール）が、独自の分類、推論、生成AIフレームワークに寄与したデータを解読してレビューする商業的インセンティブが高まるでしょう。

マシンラーニングモデルに健忘を誘発する

したがって、私たちはコーヒーから砂糖を取り除く課題に直面しています。これは、最近の研究者にとって困難な問題です。2021年、EUが支援する論文顔認識ライブラリのプライバシーリスクに関する比較研究は、人気のある顔認識アルゴリズムのいくつかが、再識別攻撃で性別や人種に基づく差別を可能にすることができることを発見しました。2015年、コロンビア大学の研究者は、「マシンアンラーニング」方法を提案しました。これは、データ内の数式の更新に基づいています。2019年、スタンフォード大学の研究者は、K-meansクラスタリングの実装のための新しい削除アルゴリズムを提供しました。

中国と米国の研究コンソーシアムは、新しい研究を発表しました。これは、データ削除アプローチの成功を評価するための統一されたメトリックと、Forsakenと呼ばれる新しい「アンラーニング」方法を紹介しています。研究者は、Forsakenが90%以上の忘却率を達成でき、モデル全体のパフォーマンスに5%の精度の低下しか発生しないと主張しています。

論文は、忘れることを学ぶ: ニューロンマスキングによるマシンアンラーニングと呼ばれています。中国とバークレーの研究者が参加しています。

ニューロンマスキングは、Forsakenの背後にある原理であり、マスク勾配ジェネレーターを使用して、モデルから特定のデータを削除するためのフィルタとして機能し、モデルを再トレーニングするのではなく、更新します（ストリーミングベースのモデルが連続的に更新される場合、データが含まれる前のスナップショットから）。

マスク勾配ジェネレーターのアーキテクチャ Source: https://arxiv.org/pdf/2003.10933.pdf

生物学的起源

研究者は、このアプローチが生物学的プロセスの「アクティブな忘却」に触発されたと述べています。ここで、ユーザーは、特定の記憶のすべてのエングラム細胞を消去するために、特殊なタイプのドーパミンの操作を使用して積極的な措置を講じます。

Forsakenは、このアクションを繰り返し呼び出すマスク勾配を継続的に呼び出します。非対象データの忘却を回避するために、このプロセスを遅くしたり停止したりするための安全対策が備わっています。

このシステムの利点は、多くの種類の既存のニューラルネットワークに適用できることであり、最近の類似の研究は主にコンピュータビジョンネットワークで成功を収めてきたことです。また、モデルトレーニング手順を妨げることなく、コアアーキテクチャを変更したりデータを再トレーニングする必要なく、付加として機能します。

効果の制限

寄与データの削除は、マシンラーニングアルゴリズムの機能に潜在的に有害な影響を及ぼす可能性があります。そうしないように、研究者はノルム正則化を利用しました。これは、通常、ニューラルネットワークのトレーニングでオーバーフィッティングを避けるために使用される機能です。選択された実装は、Forsakenがトレーニングで収束しないことを保証するように設計されています。

利用可能なデータの分散を確立するために、研究者は、実際のデータセットに含まれないデータ（「機密」データを模倣する）を使用して、アルゴリズムがどのように動作する必要があるかを調整しました。

データセットへのテスト

この方法は、8つの標準データセットでテストされ、一般的に、再トレーニングよりも忘却率が高く、モデル精度への影響がほとんどありませんでした。

再トレーニングが編集済みデータセットで実際に他の方法よりも悪い結果をもたらすことは不可能に思えるかもしれません。ターゲットデータは完全に欠落しているからです。しかし、モデルはすでに削除されたデータの特性を「ホログラフィック」な方法で抽象化しており、たとえようにも、ドロップされたデータの影響を完全に除去する唯一の方法は、ゼロからモデルを再トレーニングすることです。編集済みデータセットでモデルを再トレーニングするよりもはるかに迅速なアプローチです。