人工智能

NLP Rise with Transformer Models | A Comprehensive Analysis of T5, BERT, and GPT

Published November 8, 2023

Updated April 28, 2026

Aayush Mittal Mittal

自然语言处理（NLP）在近年经历了一些最具影响力的突破，主要归功于Transformer架构。这些突破不仅增强了机器理解和生成人类语言的能力，还重新定义了从搜索引擎到对话式人工智能等众多应用的格局。

为了充分理解Transformer的重要性，我们必须首先回顾一下为这一革命性架构奠定基础的前身和构建块。

早期NLP技术：Transformer前的基础

词嵌入：从One-Hot到Word2Vec

在传统的NLP方法中，词的表示通常是字面上的，缺乏任何语义或句法理解。One-Hot编码是这一限制的典型例子。

One-Hot编码是一种将分类变量转换为二进制向量表示的过程，其中只有一个位是“热”（设置为1），而其他位是“冷”（设置为0）。在NLP的背景下，词汇表中的每个词都由One-Hot向量表示，其中每个向量的大小等于词汇表的大小，每个词都由一个向量表示，该向量在相应的词汇表索引位置有一个1，其他位置都是0。

One-Hot编码示例

假设我们有一个只有五个词的微小词汇表：[“king”, “queen”, “man”, “woman”, “child”]。每个词的One-Hot编码向量如下：

“king” -> [1, 0, 0, 0, 0]
“queen” -> [0, 1, 0, 0, 0]
“man” -> [0, 0, 1, 0, 0]
“woman” -> [0, 0, 0, 1, 0]
“child” -> [0, 0, 0, 0, 1]

数学表示

如果我们将词汇表的大小表示为 $V$ ，将第i个词的One-Hot向量表示为 $w_{i}$ ，则 $w_{i}$ 的数学表示为：

$w_{i} = [0, 0, \dots, 1, \dots, 0, 0]$ $其中第i个位置为1，其他位置为0。$

One-Hot编码的主要缺点是，它将每个词视为一个孤立的实体，与其他词无关。这导致产生稀疏和高维的向量，这些向量不能捕获词的任何语义或句法信息。

Word2Vec的引入，尤其是由Google的Tomas Mikolov领导的团队在2013年开发的Word2Vec，是NLP领域的一个关键时刻。Word2Vec在密集的向量空间中表示词，捕获基于大型文本语料库中词的上下文的句法和语义词关系。

与One-Hot编码不同，Word2Vec产生密集的向量，通常具有数百个维度。在相似上下文中出现的词，如“king”和“queen”，将具有在向量空间中更接近的向量表示。

为了说明，让我们假设我们已经训练了一个Word2Vec模型，现在将词表示在一个假设的三维空间中。（通常这些嵌入维度更高，但为了简单起见，我们将其简化为三维。）嵌入可能如下所示：

“king” -> [0.2, 0.1, 0.9]
“queen” -> [0.21, 0.13, 0.85]
“man” -> [0.4, 0.3, 0.2]
“woman” -> [0.41, 0.33, 0.27]
“child” -> [0.5, 0.5, 0.1]

虽然这些数字是虚构的，但它们说明了如何使相似的词具有相似的向量。

数学表示

如果我们将词的Word2Vec嵌入表示为 $v_{w}$ ，并且我们的嵌入空间具有 $d$ 个维度，则 $v_{w}$ 可以表示为：

$v_{1} = [v_{1}, v_{2}, \dots, v_{d}]$ $其中每个 v_{i} 是一个表示词在嵌入空间中的浮点数特征。$

语义关系

Word2Vec甚至可以捕获复杂的关系，例如类比。例如，Word2Vec嵌入捕获的著名关系是：

$vector(“king”) - vector(“man”) + vector(“woman”) \approx vector(“queen”)$

这是因为Word2Vec在训练过程中调整词向量，以便在语料库中共享共同上下文的词在向量空间中被放置得更接近。

Word2Vec使用两种主要的架构来生成词的分布式表示：连续袋词（CBOW）和Skip-Gram。CBOW从上下文词预测目标词，而Skip-Gram则相反，从目标词预测上下文词。这使得机器能够以更细致的方式开始理解词的使用和含义。

序列建模：RNN和LSTM

随着领域的进展，重点转向了理解文本序列，这对于机器翻译、文本摘要和情感分析等任务至关重要。循环神经网络（RNN）成为这些应用的基石，因为它们可以通过维持某种形式的内存来处理序列数据。

然而，RNN并非没有局限性。它们在处理长距离依赖时遇到了困难，这是由于梯度消失问题引起的，信息会在长序列中丢失，使得学习远距离事件之间的相关性变得困难。

长短期记忆网络（LSTM），由Sepp Hochreiter和Jürgen Schmidhuber于1997年引入，通过更复杂的架构解决了这个问题。LSTM具有控制信息流动的门：输入门、遗忘门和输出门。这些门决定了什么信息被存储、更新或丢弃，使得网络能够保留长距离依赖，并显著提高了在广泛的NLP任务上的性能。

Transformer架构

NLP领域的格局在2017年Vaswani等人发表的“Attention is All You Need”论文中引入Transformer模型后发生了戏剧性的变化。Transformer架构偏离了RNN和LSTM的顺序处理，而是使用一种称为“自注意力”的机制来权衡不同输入数据部分的影响。

Transformer的核心思想是，它可以同时处理整个输入数据，而不是顺序处理。这使得模型可以更好地并行化，并且训练速度大大提高。自注意力机制使得模型能够在处理文本时关注不同的部分，这对于理解上下文和词之间的关系至关重要，无论它们在文本中的位置如何。

Transformer中的编码器和解码器：

在原始Transformer模型中，如Vaswani等人在论文“Attention is All You Need”中所述，架构分为两个主要部分：编码器和解码器。两部分都由具有相同一般结构的层组成，但服务于不同的目的。

编码器：

角色：编码器的角色是处理输入数据并创建一个捕获元素之间关系（如句子中的词）的表示。Transformer的这一部分不生成任何新内容；它只是将输入转换为解码器可以使用的状态。
功能：每个编码器层都具有自注意力机制和前馈神经网络。自注意力机制允许编码器中的每个位置关注前一层编码器中的所有位置——因此，它可以学习每个词周围的上下文。
上下文嵌入：编码器的输出是一系列向量，它们在高维空间中表示输入序列。这些向量通常被称为上下文嵌入，因为它们不仅编码个别词，还编码了词在句子中的上下文。

解码器：

角色：解码器的角色是根据从编码器接收的输入和它已经生成的内容，顺序生成输出数据，一次一个。它的设计目的是用于文本生成等任务，其中生成的顺序至关重要。
功能：解码器层也包含自注意力机制，但它们被掩蔽以防止位置关注后续位置。这样可以确保对特定位置的预测只能依赖于之前位置的已知输出。此外，解码器层包括一个关注编码器输出的第二个注意力机制，将输入的上下文整合到生成过程中。
顺序生成能力：这指的是解码器一次生成一个序列元素的能力，建立在它已经产生的基础上。例如，在生成文本时，解码器根据编码器提供的上下文和它已经生成的词序列预测下一个词。

编码器和解码器中的这些子层对于模型处理复杂NLP任务的能力至关重要。特别是多头注意力机制，使得模型能够选择性地关注序列的不同部分，提供对上下文的丰富理解。