AIモデルとプラットフォーム

NLPのトランスフォーマーモデルによる躍進 | T5、BERT、GPTの包括的な分析

公開日 2023年11月8日

更新日 2026年5月22日

著者

Aayush Mittal ミッタル

Unite.AI を Google の優先ソースに追加

自然言語処理（NLP）は、近年、トランスフォーマー・アーキテクチャーのおかげで、最も大きなブレークスルーを経験しています。これらのブレークスルーは、機械が人間の言語を理解し、生成する能力を高めたばかりか、検索エンジンから会話AIまで、多くのアプリケーションの風景を再定義しました。

トランスフォーマーの重要性を十分に理解するには、トランスフォーマー・アーキテクチャーの基礎となった前身と構成要素を振り返る必要があります。

トランスフォーマー以前の初期NLP技術

ワードエンベッディング：ワンホットからWord2Vecへ

伝統的なNLPアプローチでは、単語の表現は通常、意味や構文の理解が欠けていました。ワンホットエンコーディングはこの限界の典型的な例です。

ワンホットエンコーディングは、カテゴリ変数を二値ベクトル表現に変換するプロセスであり、1つのビットのみが「ホット」（1に設定）であり、他のビットはすべて「コールド」（0に設定）です。NLPの文脈では、各単語はワンホットベクトルで表され、各ベクトルは語彙のサイズであり、各単語はベクトルにすべて0と1つの1を持つベクトルで表されます。

ワンホットエンコーディングの例

仮に、5つの単語のみの小さな語彙[“king”、”queen”、”man”、”woman”、”child”]があるとします。各単語のワンホットエンコーディングベクトルは次のようになります。

“king” -> [1, 0, 0, 0, 0]
“queen” -> [0, 1, 0, 0, 0]
“man” -> [0, 0, 1, 0, 0]
“woman” -> [0, 0, 0, 1, 0]
“child” -> [0, 0, 0, 0, 1]

数学的表現

語彙のサイズを $V$ 、i番目の単語のワンホットベクトル表現を $w_{i}$ と表記する場合、 $w_{i}$ の数学的表現は次のようになります。

$w_{i} = [0, 0, \dots, 1, \dots, 0, 0]$ $i番目の位置が1で、他の位置がすべて0である場合。$

ワンホットエンコーディングの主な欠点は、各単語を独立したエンティティとして扱い、他の単語との関係を考慮しないことです。結果として、疎で高次元のベクトルが生成され、単語の意味や構文に関する情報を捉えることができません。

Word2Vecの導入は、特に2013年にGoogleのTomas Mikolov率いるチームによって開発されたWord2Vecは、NLPにおける重要な転換点でした。Word2Vecは、単語を密なベクトル空間に表現し、単語の意味や構文に関する情報を捉えることができました。

ワンホットエンコーディングとは異なり、Word2Vecは通常、数百次元の密なベクトルを生成します。同じコンテキストで出現する単語、たとえば”king”と”queen”は、ベクトル空間で近い位置に配置されます。

例として、Word2Vecモデルを訓練し、単語を仮想的な3次元空間に表現することを考えてみましょう（実際には3次元以上ですが、ここでは簡略化のために3次元に制限します）。エンベッディング（通常は3次元以上ですが、ここでは簡略化のために3次元に制限します）は次のようになります。

“king” -> [0.2, 0.1, 0.9]
“queen” -> [0.21, 0.13, 0.85]
“man” -> [0.4, 0.3, 0.2]
“woman” -> [0.41, 0.33, 0.27]
“child” -> [0.5, 0.5, 0.1]

これらの数字は架空ですが、類似する単語が類似したベクトルを持つことを示しています。

数学的表現

Word2Vecのエンベッディングを $v_{w}$ 、エンベッディング空間の次元数を $d$ と表記する場合、 $v_{w}$ は次のように表現できます。

$v_{w} = [v_{1}, v_{2}, \dots, v_{d}]$ $各 v_{i} は、単語の特徴を表す浮動小数点数です。$

意味的関係

Word2Vecは、類推関係を捉えることができます。たとえば、Word2Vecエンベッディングによって捉えられる有名な関係は次のとおりです。

$ベクトル(“king”) - ベクトル(“man”) + ベクトル(“woman”) \approx ベクトル(“queen”)$

これは、Word2Vecがコーパス内のコンテキストを共有する単語を近い位置に配置することで、ベクトルを調整することができるためです。

Word2Vecは、Continuous Bag-of-Words（CBOW）とSkip-Gramの2つの主要なアーキテクチャーを使用して、単語の分散表現を生成します。CBOWは、コンテキスト単語からターゲット単語を予測しますが、Skip-Gramはその逆を行います。ターゲット単語からコンテキスト単語を予測します。これにより、機械は単語の使用法と意味をより微妙に理解することができます。

シーケンスモデリング：RNNとLSTM

この分野が進化するにつれて、シーケンスデータの理解、特に機械翻訳、テキスト要約、感情分析などのタスクに焦点が当てられました。再帰型ニューラルネットワーク（RNN）は、これらのアプリケーションの基礎となりました。なぜなら、シーケンスデータを処理する能力と、ある種の「メモリ」を保持する能力を持っていたからです。

しかし、RNNには限界がありました。長距離依存関係に対処する際に、消え去る勾配問題に苦労しました。ここで、情報は長いシーケンスを通じて失われ、遠隔のイベント間の相関関係を学習することが困難になりました。

(GOOGL )

1997年にSepp HochreiterとJürgen Schmidhuberによって導入されたLong Short-Term Memory（LSTM）ネットワークは、この問題を解決しました。LSTMには、情報の流れを制御するゲートが備わっています。入力ゲート、忘却ゲート、出力ゲートです。これらのゲートは、どの情報を保存するか、更新するか、破棄するかを決定し、ネットワークが長距離依存関係を保持できるようにし、幅広いNLPタスクのパフォーマンスを大幅に改善しました。

トランスフォーマーアーキテクチャー

NLPの風景は、2017年にVaswaniらによって提案されたトランスフォーマーモデルによって劇的に変わりました。トランスフォーマーアーキテクチャーは、RNNやLSTMの順序処理から離れ、代わりに「自己注意」と呼ばれるメカニズムを使用します。これにより、入力データの各部分の影響を重み付けすることができます。

トランスフォーマーの核となる考え方は、入力データをすべて一度に処理できることです。シーケンスごとに処理するのではなく、並列化が可能になり、トレーニングの速度が大幅に高速化します。自己注意メカニズムにより、モデルは入力データを処理する際に、テキストのさまざまな部分に焦点を当てることができます。これは、コンテキストと単語間の関係を理解するために不可欠です。

トランスフォーマーのエンコーダーとデコーダー

元のトランスフォーマーモデルでは、Vaswaniらによって記述されたように、アーキテクチャーは2つの主要な部分に分かれています。エンコーダーとデコーダーです。両方の部分は、同じ構造を持つ層で構成されていますが、異なる目的を持ちます。

エンコーダー

役割：エンコーダーの役割は、入力データを処理して、要素間の関係を捉えた表現を作成することです。このトランスフォーマーの部分は、新しいコンテンツを生成しません。入力データをデコーダーが使用できる状態に変換するだけです。
機能：各エンコーダーレイヤーには、自己注意メカニズムとフィードフォワードニューラルネットワークがあります。自己注意メカニズムにより、エンコーダーの各位置は、前のレイヤーのすべての位置に注目することができます。
コンテキストエンベッディング：エンコーダーの出力は、ベクトルの系列で、入力シーケンスを高次元空間に表現したものです。これらのベクトルは、コンテキストエンベッディングと呼ばれます。単語だけでなく、単語のコンテキストもエンコードしているからです。

デコーダー

役割：デコーダーの役割は、エンコーダーから入力を受け取り、すでに生成したものに基づいて、出力データをシーケンスごとに生成することです。テキスト生成などのタスクに適しています。
機能：デコーダーレイヤーも自己注意メカニズムを持ちますが、後続の位置に注目することを防ぐために、マスクされます。さらに、デコーダーレイヤーには、エンコーダーの出力を注目する第二の注意メカニズムがあり、入力のコンテキストを生成プロセスに統合します。
シーケンス生成能力：これは、デコーダーがシーケンスを1つずつ生成し、すでに生成したものを基に次の要素を予測する能力を指します。たとえば、テキスト生成の場合、デコーダーは、エンコーダーから得られたコンテキストと、すでに生成したシーケンスに基づいて、次の単語を予測します。

エンコーダーとデコーダーの各サブレイヤーは、モデルが複雑なNLPタスクを処理する能力に不可欠です。特に、マルチヘッド注意メカニズムにより、モデルはシーケンスのさまざまな部分に選択的に焦点を当てることができます。

トランスフォーマーを使用する人気モデル

トランスフォーマーモデルの初期の成功に続いて、各タスクに最適化された新しいモデルが登場しました。

BERT（Bidirectional Encoder Representations from Transformers）：2018年にGoogleによって導入され、BERTは言語表現にコンテキスト情報を統合する方法を革命的に変え、幅広いNLPタスクで最先端の結果を達成しました。マスキング言語モデリングと次の文予測を使用した大規模コーパスでの事前トレーニングにより、BERTは豊富な双方向コンテキストを捉えました。

BERT

T5（Text-to-Text Transfer Transformer）：2020年にGoogleによって導入され、T5はすべてのNLPタスクをテキストからテキストへの問題として再定式化し、統一されたテキストベースのフォーマットを使用します。このアプローチにより、翻訳、要約、質問回答などの幅広いタスクにモデルを適用するプロセスが簡素化されました。

T5 Architecture

GPT（Generative Pre-trained Transformer）：OpenAIによって開発されたGPTシリーズは、GPT-1から始まり、2023年にはGPT-4に至りました。これらのモデルは、膨大なテキストデータで事前トレーニングされ、さまざまなタスクにファインチューニングされました。コヒーレントでコンテキストに応じたテキストを生成する能力により、GPTシリーズは学術的および商業的なAIアプリケーションで大きな影響力を持ちました。

GPT Architecture

ここでは、T5、BERT、GPTモデルをさまざまな次元で詳しく比較します。

1. トークン化と語彙

BERT：ワードピーストークン化を使用し、約30,000トークンの語彙サイズを持っています。
GPT：バイトペアエンコーディング（BPE）を使用し、GPT-3の場合、175,000の語彙サイズがあります。
T5：センテンスピーストークン化を使用し、テキストを事前にセグメント化する必要はありません。

2. 事前トレーニングオブジェクト

BERT：マスキング言語モデリング（MLM）と次の文予測（NSP）を使用します。
GPT：因果言語モデリング（CLM）を使用し、各トークンはシーケンス内の次のトークンを予測します。
T5：ノイズ化オブジェクトを使用し、ランダムなテキストスパンをセントリルトークンに置き換え、モデルは元のテキストを再構築することを学びます。

3. 入力表現

BERT：トークン、セグメント、位置エンベッディングを組み合わせて入力を表現します。
GPT：トークンと位置エンベッディングを組み合わせます（セグメントエンベッディングはありません。シーケンスペアタスクに設計されていないためです）。
T5：トークンエンベッディングのみを使用し、注意操作中に相対位置エンコーディングを追加します。

4. 注意メカニズム

BERT：絶対位置エンコーディングを使用し、各トークンは左と右のすべてのトークンに注目できます（双方向注意）。
GPT：絶対位置エンコーディングも使用しますが、注意は前のトークンに制限されます（一方向注意）。
T5：位置エンコーディングではなく、相対位置バイアスを実装します。

5. モデルアーキテクチャー

BERT：エンコーダーのみアーキテクチャーで、複数のトランスフォーマーブロックの層があります。

GPT：デコーダーのみアーキテクチャーで、生成タスク用に設計されています。

T5：エンコーダーとデコーダーの両方で構成され、エンコーダーとデコーダーの両方がトランスフォーマーレイヤーで構成されています。

6. ファインチューニングアプローチ

BERT：事前トレーニングモデルの最終隠れ状態をダウンストリームタスク用に適応させ、必要に応じて追加の出力レイヤーを追加します。
GPT：トランスフォーマー上に線形レイヤーを追加し、同じ因果言語モデリングオブジェクトを使用してダウンストリームタスクにファインチューニングします。
T5：すべてのタスクをテキストからテキストへの問題として再定式化し、入力シーケンスからターゲットシーケンスを生成するためにモデルをファインチューニングします。

7. トレーニングデータとスケール

BERT：ブックコーパスと英語ウィキペディアでトレーニングされました。
GPT：GPT-2とGPT-3はインターネットから抽出されたさまざまなデータセットでトレーニングされ、GPT-3はコモンクロールと呼ばれるより大きなコーパスでトレーニングされました。
T5：コモンクロールのクリーンなバージョンである「コロッサルクリーンクロールコーパス」でトレーニングされました。

8. コンテキストと双方向性の処理

BERT：双方向コンテキストを同時に理解するように設計されています。
GPT：左から右への方向（前向き）でのみコンテキストを理解するようにトレーニングされました。
T5：エンコーダーでは双方向コンテキストをモデル化し、デコーダーでは一方向コンテキストをモデル化します。シーケンスからシーケンスへのタスクに適しています。

9. ダウンストリームタスクへの適応性

BERT：各ダウンストリームタスクにタスク固有のヘッドレイヤーとファインチューニングが必要です。
GPT：生成的な性質を持ち、構造の最小限の変更でタスクを実行できます。
T5：すべてのタスクをテキストからテキストへの問題として扱うため、タスクに合わせて簡単に適応できます。

10. 解釈可能性と説明可能性

BERT：双方向の性質により、豊富なコンテキストエンベッディングが生成されますが、解釈はより困難になる可能性があります。
GPT：一方向のコンテキストは、双方向コンテキストの深さに欠けますが、理解はより直接的になる可能性があります。
T5：エンコーダーとデコーダーのフレームワークにより、処理ステップの明確な分離が提供されますが、生成的な性質により、分析は複雑になる可能性があります。

トランスフォーマーのNLPへの影響

トランスフォーマーは、シーケンスデータを並列に処理する能力をもたらしたことで、NLPの分野を革命的に変えました。これにより、大規模なニューラルネットワークのトレーニングの速度と効率が大幅に向上しました。さらに、自己注意メカニズムを導入し、モデルは入力データの各部分の重要性を重み付けできるようになりました。これにより、機械翻訳、質問回答、テキスト要約など、幅広いNLPタスクで前例のない改善がもたらされました。

研究は、トランスフォーマーモデルが達成できる可能性の限界を押し広げ続けています。GPT-4やその同時代のモデルは、サイズが大きいだけでなく、設計とトレーニング方法の進歩により、より効率的で強力なものとなっています。少数の例からタスクを実行するファインチューニングや、より効果的な転移学習の方法は、現在の研究の最前線にあります。

トランスフォーマーを基盤とする言語モデルは、データから学習するため、データに含まれる偏見を学習する可能性があります。研究者や実践者は、これらの偏見を特定し、理解し、軽減するために積極的に取り組んでいます。公平性と中立性を目指した事前トレーニングデータセットのカーソルや事後調整などのテクニックが使用されています。

Aayush Mittal, ミッタル

私は過去5年間、機械学習とディープラーニングの魅力的世界に没頭してきました。私の情熱と専門知識は、AI/MLに特に焦点を当てた50以上の多様なソフトウェアエンジニアリングプロジェクトに貢献することになりました。私の継続的な好奇心は、自然言語処理という分野にも私を引き付け、さらに探求したいと思っています。