人工知能

NLP Rise with Transformer Models | A Comprehensive Analysis of T5, BERT, and GPT

Published November 8, 2023

Updated April 28, 2026

Aayush Mittal Mittal

自然言語処理（NLP）は、近年、トランスフォーマーアーキテクチャの登場により、最も大きなブレークスルーを経験しました。これらのブレークスルーは、機械が人間の言語を理解し、生成する能力を強化するだけでなく、検索エンジンから会話AIまで、さまざまなアプリケーションの風景を再定義しました。

トランスフォーマーの重要性を十分に理解するには、トランスフォーマーが基づく革命的なアーキテクチャの基盤となった前身と構成要素を最初に振り返る必要があります。

トランスフォーマー以前の初期NLP技術

ワードエンベッディング：ワンホットエンコーディングからWord2Vecへ

伝統的なNLPアプローチでは、単語の表現は通常、意味や構文の理解がないリテラルでした。ワンホットエンコーディングは、この限界の典型的な例です。

ワンホットエンコーディングは、カテゴリ変数を二値ベクトル表現に変換するプロセスであり、1つのビットのみが「ホット」（1に設定）で、他のビットはすべて「コールド」（0に設定）です。NLPの文脈では、各単語は、各ベクトルがボキャブラリーのサイズで、各単語はボキャブラリーのリスト内の対応するインデックスに1、他のインデックスに0のベクトルで表されます。

ワンホットエンコーディングの例

ボキャブラリーが非常に小さく、5つの単語だけであるとします：[“king”、”queen”、”man”、”woman”、”child”］。各単語のワンホットエンコーディングベクトルは次のようになります：

“king” -> [1, 0, 0, 0, 0]
“queen” -> [0, 1, 0, 0, 0]
“man” -> [0, 0, 1, 0, 0]
“woman” -> [0, 0, 0, 1, 0]
“child” -> [0, 0, 0, 0, 1]

数学的表現

ボキャブラリーのサイズを $V$ 、i番目の単語のワンホットベクトル表現を $w_{i}$ と表記する場合、 $w_{i}$ の数学的表現は：

$w_{i} = [0, 0, \dots, 1, \dots, 0, 0]$ $i番目の位置が1で、他の位置が0である。$

ワンホットエンコーディングの主な欠点は、各単語を他の単語との関係なしに孤立したエンティティとして扱うことです。これにより、意味や構文の情報を捉えていない疎な高次元ベクトルが生成されます。

Word2Vecの導入、特に2013年にGoogleのTomas Mikolov率いるチームによって開発されたものは、NLPにおける重要な転機でした。Word2Vecは、単語を密なベクトル空間に表現し、文脈に基づいて単語の意味や構文の関係を捉えました。

ワンホットエンコーディングとは異なり、Word2Vecは通常、数百次元の密なベクトルを生成します。類似したコンテキストで出現する単語、たとえば”king”と”queen”は、ベクトル空間で互いに近いベクトル表現を持つことになります。

例として、Word2Vecモデルを訓練し、単語を仮説的な3次元空間に表現することを考えてみましょう（実際には3次元よりも多くの次元を持つことが多いですが、ここでは簡単化するために3次元に制限します）。エンベッディング（通常は3次元よりも多くの次元を持つ）は次のようになります：

“king” -> [0.2, 0.1, 0.9]
“queen” -> [0.21, 0.13, 0.85]
“man” -> [0.4, 0.3, 0.2]
“woman” -> [0.41, 0.33, 0.27]
“child” -> [0.5, 0.5, 0.1]

これらの数字は架空のものですが、類似した単語が類似したベクトルを持つことを示しています。

数学的表現

単語のWord2Vecエンベッディングを $v_{w}$ 、エンベッディング空間が $d$ 次元を持つ場合、 $v_{w}$ は次のように表現できます：

$v_{w} = [v_{1}, v_{2}, \dots, v_{d}]$ $各 v_{i} はエンベッディング空間における単語の特徴を表す浮動小数点数です。$

意味的関係

Word2Vecは、類推関係を捉えることもできます。たとえば、Word2Vecエンベッディングによって捉えられる有名な関係は：

$vector(“king”) - vector(“man”) + vector(“woman”) \approx vector(“queen”)$

これは、Word2Vecがコーパス内のコンテキストを共有する単語をベクトル空間で近くに配置するように訓練されるため可能です。

Word2Vecは、Continuous Bag-of-Words（CBOW）とSkip-Gramの2つの主要なアーキテクチャを使用して、単語の分散表現を生成します。CBOWは、コンテキスト単語からターゲット単語を予測しますが、Skip-Gramはその逆を行い、ターゲット単語からコンテキスト単語を予測します。これにより、機械は単語の使用と意味をより繊細に理解することができます。

シーケンスモデリング：RNNとLSTM

この分野が進化するにつれて、機械翻訳、テキスト要約、感情分析などのタスクに不可欠なテキストのシーケンスを理解することに焦点が当てられました。再帰型ニューラルネットワーク（RNN）は、シーケンスデータを処理する能力と、メモリの一種を保持する能力により、これらのアプリケーションの基礎となりました。

しかし、RNNには限界がありました。減衰する勾配問題により、遠隔の依存関係を学習するのに苦労し、シーケンス間の相関関係を学習するのが難しくなりました。

1997年にSepp HochreiterとJürgen Schmidhuberによって導入されたLong Short-Term Memory（LSTM）ネットワークは、この問題を解決しました。LSTMには、情報の流れを制御するゲートがあります。入力ゲート、忘却ゲート、出力ゲートです。これらのゲートは、保存される情報、更新される情報、捨てられる情報を決定し、ネットワークが長期的な依存関係を保持できるようにし、幅広いNLPタスクの性能を大幅に改善しました。

トランスフォーマーアーキテクチャ

NLPの風景は、2017年にVaswani et al.によって提案されたトランスフォーマーモデルによって劇的に変わりました。トランスフォーマーアーキテクチャは、RNNやLSTMのシーケンス処理から離れ、代わりに「自己注意」と呼ばれるメカニズムを使用して、入力データの異なる部分の影響を重み付けします。

トランスフォーマーの核となるアイデアは、入力データを一度に処理できることです。シーケンスごとに処理するのではなく、並列化が可能になり、訓練の速度が大幅に高速化します。自己注意メカニズムにより、モデルはテキストを処理するときに、テキストの異なる部分に焦点を当てることができます。これは、コンテキストと単語間の関係を理解するために不可欠です。

トランスフォーマーのエンコーダーとデコーダー

元のトランスフォーマーモデルでは、エンコーダーとデコーダーの2つの主要な部分があります。両方の部分は同じ構造を持つ層で構成されていますが、異なる目的を持ちます。

エンコーダー

役割: エンコーダーの役割は、入力データを処理して、要素間の関係を捉えた表現を作成することです。この部分は新しいコンテンツを生成しません。入力データをデコーダーが使用できる状態に変換するだけです。
機能: 各エンコーダーレイヤーには、自己注意メカニズムとフィードフォワードニューラルネットワークがあります。自己注意メカニズムにより、エンコーダーの各位置が前のレイヤーのすべての位置に注目することができます。つまり、各単語の周囲のコンテキストを学習できます。
コンテキストエンベッディング: エンコーダーの出力は、シーケンスを高次元空間に表現した一連のベクトルです。これらのベクトルは、コンテキストエンベッディングと呼ばれます。単語自体だけでなく、文脈内の位置も表現しています。

デコーダー

役割: デコーダーの役割は、エンコーダーから入力を受け取り、すでに生成したものに基づいて、シーケンスを1つずつ生成することです。テキスト生成などのタスクに適しています。
機能: デコーダーレイヤーも自己注意メカニズムを持ちますが、後の位置に注目することを防ぐためにマスクされます。これにより、特定の位置の予測は、前の位置でのみ出力に依存するようになります。さらに、デコーダーレイヤーには、エンコーダーの出力を注目する2番目の注意メカニズムがあり、入力のコンテキストを生成プロセスに統合します。
シーケンス生成能力: これは、デコーダーがすでに生成したシーケンスに基づいて、シーケンスを1つずつ生成する能力を指します。たとえば、テキスト生成の場合、デコーダーは、エンコーダーから得られたコンテキストと、すでに生成した単語のシーケンスに基づいて、次の単語を予測します。

エンコーダーとデコーダーのこれらのサブレイヤーは、モデルが複雑なNLPタスクを処理する能力に不可欠です。特に、マルチヘッド注意メカニズムにより、モデルはシーケンスの異なる部分に選択的に焦点を当てることができます。これにより、コンテキストの豊富な理解が可能になります。

トランスフォーマーを利用した人気モデル

トランスフォーマーモデルの初期の成功に続いて、各種のタスクに最適化された新しいモデルが登場しました。

BERT（Bidirectional Encoder Representations from Transformers）: 2018年にGoogleによって導入され、BERTは言語表現の方法を革命的に変えました。大量のテキストコーパスでマスク言語モデルと次の文予測を使用して事前訓練し、BERTは双方向のコンテキストを捉え、幅広いNLPタスクで最高の成果を達成しました。

BERT

T5（Text-to-Text Transfer Transformer）: 2020年にGoogleによって導入され、T5はすべてのNLPタスクをテキストからテキストへの問題として再定式化します。統一されたテキストベースのフォーマットを使用することで、モデルをさまざまなタスク（翻訳、要約、質問回答など）に適用するプロセスが簡素化され、柔軟性と適応性が向上しました。

T5 Architecture

GPT（Generative Pre-trained Transformer）: OpenAIによって開発されたGPTシリーズは、GPT-1から始まり、2023年にはGPT-4に至りました。これらのモデルは、膨大なテキストデータで事前訓練され、さまざまなタスクに微調整されています。コンテキストに適したテキストを生成する能力により、学術的および商業的なAIアプリケーションで大きな影響を与えています。

GPT Architecture

ここでは、T5、BERT、GPTモデルをさまざまな次元で詳しく比較します：

1. トークン化とボキャブラリー

BERT: ワードピーストークン化を使用し、約30,000トークンのボキャブラリーを持っています。
GPT: バイトペアエンコーディング（BPE）を使用し、大きなボキャブラリー（例：GPT-3のボキャブラリーは175,000）を持っています。
T5: センテンスピーストークン化を使用し、事前分割された単語を必要としません。

2. 事前訓練オブジェクト

BERT: マスク言語モデルと次の文予測を使用します。
GPT: 因果言語モデルを使用し、各トークンはシーケンス内の次のトークンを予測します。
T5: ノイズ化オブジェクトを使用し、ランダムなテキストスパンをセントリルトークンに置き換え、元のテキストを再構築するようにモデルを訓練します。

3. 入力表現

BERT: トークン、セグメント、位置エンベッディングを組み合わせて入力を表現します。
GPT: トークンと位置エンベッディングを組み合わせます（セグメントエンベッディングはありません）。
T5: トークンエンベッディングのみを使用し、注意操作中に相対的な位置エンコーディングを追加します。

4. 注意メカニズム

BERT: 絶対的な位置エンコーディングを使用し、各トークンは左と右のすべてのトークンに注目できます（双方向注意）。
GPT: 絶対的な位置エンコーディングを使用しますが、注意は前のトークンにのみ制限されます（一方向注意）。
T5: 相対的な位置バイアスを使用し、位置エンコーディングではなく、注意メカニズムに組み込まれています。

5. モデルアーキテクチャ

BERT: エンコーダーのみのアーキテクチャで、複数のトランスフォーマーブロックの層で構成されています。
GPT: デコーダーのみのアーキテクチャで、生成タスクに適しています。
T5: エンコーダーとデコーダーの両方を備えたアーキテクチャで、エンコーダーとデコーダーの両方がトランスフォーマーレイヤーで構成されています。

6. ファインチューニングアプローチ

BERT: 事前訓練されたモデルの最終的な隠れ状態をダウンストリームタスクに適応させるために、追加の出力層を使用します。
GPT: トランスフォーマーの上に線形層を追加し、ダウンストリームタスクに因果言語モデリングのオブジェクトを使用してファインチューニングします。
T5: すべてのタスクをテキストからテキストへの形式に変換し、入力シーケンスからターゲットシーケンスを生成するためにモデルをファインチューニングします。

7. 訓練データとスケール

BERT: BooksCorpusと英語Wikipediaで訓練されました。
GPT: GPT-2とGPT-3はインターネットから抽出された多様なデータセットで訓練され、GPT-3はCommon Crawlと呼ばれるより大きなコーパスで訓練されました。
T5: Common CrawlのクリーンなバージョンであるColossal Clean Crawled Corpusで訓練されました。