生成モデル vs. 判別モデル – 機械学習モデル

一部の機械学習モデルは、生成モデルまたは判別モデルのいずれかに分類されます。しかし、これら2つのモデルカテゴリの違いは何でしょうか。生成モデルと判別モデルの違いは何でしょうか。

簡単に言うと、生成モデルはデータセットの分布を含むモデルであり、与えられた例の確率を返します。生成モデルは、シーケンスの次のイベントを予測するために使用されることがよくあります。一方、判別モデルは、分類または回帰のために使用され、条件付き確率に基づいて予測を返します。生成モデルと判別モデルの違いについて詳しく見ていきましょう。

生成モデル vs. 判別モデル

機械学習モデルを分類する方法は、いくつかあります。モデルは、生成モデル、判別モデル、パラメトリックモデル、ノンパラメトリックモデル、ツリーベースモデル、ノンツリーベースモデルのカテゴリに分類できます。

この記事では、生成モデルと判別モデルの違いについて焦点を当てて説明します。まず、生成モデルと判別モデルの定義を説明し、次に各タイプのモデルについての例を見ていきます。

生成モデル

生成モデルは、データセット内のクラスの分布を中心に据えています。機械学習アルゴリズムは通常、データポイントの分布をモデル化します。生成モデルは、共有確率を使用して、与えられた入力特徴と望ましい出力/ラベルが同時に存在するポイントを作成します。

生成モデルは、確率と可能性を推定するために使用され、データポイントとクラスをこれらの確率に基づいて区別します。モデルがデータセットの確率分布を学習するため、新しいデータインスタンスを生成するためにこの確率分布を参照できます。生成モデルは、ベイズの定理を使用して、共有確率を求め、p(x,y)を求めます。生成モデルは、データが生成された方法をモデル化し、次の質問に答えます。

「このクラスまたは別のクラスがこのデータポイント/インスタンスを生成した可能性は何ですか?」

生成機械学習モデルの例には、線形判別分析（LDA）、隠れマルコフモデル、ベイジアンネットワーク（Naive Bayesなど）があります。

判別モデル

生成モデルがデータセットの分布を学習する一方で、判別モデルは、データセット内のクラスの境界を学習します。判別モデルの目的は、クラスに信頼できるクラスラベルを付けるために、クラス間の決定境界を識別することです。判別モデルは、条件付き確率を使用してクラスを区別し、個々のデータポイントについての仮定を行いません。

判別モデルは、次の質問に答えます。

「このインスタンスは決定境界のどちら側にありますか?」

機械学習における判別モデルの例には、サポートベクターマシン、ロジスティック回帰、決定木、ランダムフォレストがあります。

生成モデルと判別モデルの違い

ここでは、生成モデルと判別モデルの主な違いについて簡単に説明します。

生成モデル:

• 生成モデルは、データセット内のクラスの実際の分布を捉えることを目指しています。
• 生成モデルは、ベイズの定理を使用して、共有確率分布p(x,y)を予測します。
• 生成モデルは、判別モデルよりも計算コストが高いです。
• 生成モデルは、教師なし機械学習タスクに役立ちます。
• 生成モデルは、判別モデルよりもアウトライアに敏感です。

判別モデル:

• 判別モデルは、データセットクラスの決定境界をモデル化します。
• 判別モデルは、条件付き確率p(y|x)を学習します。
• 判別モデルは、生成モデルよりも計算コストが低いです。
• 判別モデルは、教師あり機械学習タスクに役立ちます。
• 判別モデルは、アウトライアに対して生成モデルよりもロバストです。
• 判別モデルは、アウトライアに対して生成モデルよりもロバストです。

ここで、生成モデルと判別モデルのいくつかの例について簡単に説明します。

生成モデルの例

線形判別分析（LDA）

LDAモデルは、データセット内の各クラスの分散と平均を推定することで機能します。各クラスの平均と分散が計算された後、与えられた入力セットが特定のクラスに属する確率を推定することで予測を行うことができます。

隠れマルコフモデル

マルコフ連鎖は、グラフと確率で表され、状態間の遷移確率を示します。マルコフ連鎖は、状態jから状態iへの遷移確率を決定するために使用され、p(i,j)と表記されます。これは、上で説明した共有確率です。隠れマルコフモデルは、観測できないマルコフ連鎖を使用し、入力データをモデルに与え、現在の状態と直前の状態の確率を使用して最も可能性の高い結果を計算します。

ベイジアンネットワーク

ベイジアンネットワークは、確率グラフィカルモデルの一種です。変数間の条件付き依存関係を表します。ベイジアンネットワークでは、グラフの各エッジは条件付き依存関係を表し、各ノードは一意の変数に対応します。グラフ内の独自の関係の条件付き独立性を使用して、変数の共同分布を決定し、共同確率を計算できます。

ベイジアンネットワークを作成し、ランダム変数、条件付き関係、確率分布を適切に定義した後、イベントまたは結果の確率を推定するために使用できます。

ベイジアンネットワークの最も一般的なタイプの1つは、Naive Bayesモデルです。Naive Bayesモデルは、多数のパラメータ/変数を持つデータセットの確率を計算する課題に対処するために、すべての機能を相互に独立しているものと扱います。

判別モデルの例

サポートベクターマシン

サポートベクターマシンは、データポイント間に決定境界を描くことで動作し、データセット内のクラスを最もよく分離する決定境界を見つけます。SVMアルゴリズムは、2次元空間では線、3次元空間では超平面を描きます。SVMは、クラスを分離するために、線/超平面と最も近いポイント間の距離を最大化することで決定境界を見つけます。SVMモデルは、カーネルトリックを使用して非線形決定境界を識別することで、線形に分離できないデータセットにも使用できます。

ロジスティック回帰

ロジスティック回帰は、ロジット（対数オッズ）関数を使用して、入力が2つの状態のいずれかである確率を決定するアルゴリズムです。シグモイド関数を使用して、確率を0または1に「圧縮」します。0.50を超える確率はクラス1と見なされ、0.49以下の確率はクラス0と見なされます。したがって、ロジスティック回帰は、通常、2クラスの分類問題で使用されます。ただし、ロジスティック回帰は、一対多のアプローチを使用して、各クラスに対して二項分類モデルを作成し、データセット内のクラスの1つに対するインスタンスの確率を決定することで、多クラス問題にも適用できます。

決定木

決定木モデルは、データセットを小さな部分に分割し、部分をさらに分割することができない場合、ノードと葉を持つ木が生成されます。決定木のノードは、データポイントについての決定が行われる場所であり、決定木の葉は、データポイントが分類された結果です。決定木アルゴリズムは、数値データとカテゴリデータの両方を処理でき、ツリーの分割は特定の変数/特徴に基づいて行われます。

ランダムフォレスト

ランダムフォレストモデルは、基本的に、個々のツリーの予測を平均して最終的な決定を下す、決定木のコレクションです。ランダムフォレストアルゴリズムは、観測と特徴をランダムに選択し、これらの選択に基づいて個々のツリーを構築します。

このチュートリアル記事では、Matplotlibでボックスプロットを作成する方法について説明します。ボックスプロットは、データセットの要約統計を視覚化するために使用され、データの範囲や分布などの分布の特性を表示します。