Sự trỗi dậy của NLP với các mô hình Transformer | Phân tích toàn diện về T5, BERT và GPT

Xử lý ngôn ngữ tự nhiên (NLP) đã chứng kiến một số đột phá quan trọng trong những năm gần đây, chủ yếu nhờ vào kiến trúc transformer. Những đột phá này không chỉ nâng cao khả năng của máy móc trong việc hiểu và tạo ra ngôn ngữ của con người mà còn thay đổi hoàn toàn phong cảnh của nhiều ứng dụng, từ công cụ tìm kiếm đến trí tuệ nhân tạo đối thoại.

Để hiểu đầy đủ tầm quan trọng của transformer, chúng ta phải nhìn lại những tiền thân và nền tảng đã đặt ra cơ sở cho kiến trúc cách mạng này.

Các kỹ thuật NLP sớm: Những nền tảng trước Transformer

Đại diện từ: Từ One-Hot đến Word2Vec

Trong các phương pháp NLP truyền thống, đại diện của từ thường là một thực thể cô lập và không có bất kỳ hình thức hiểu biết ngữ nghĩa hoặc cú pháp nào. Mã hóa one-hot là một ví dụ điển hình của hạn chế này.

Mã hóa one-hot là một quá trình trong đó các biến phân loại được chuyển đổi thành một biểu diễn vector nhị phân nơi chỉ một bit là “nóng” (đặt thành 1) trong khi tất cả các bit khác là “lạnh” (đặt thành 0). Trong bối cảnh NLP, mỗi từ trong từ vựng được đại diện bởi vector one-hot, nơi mỗi vector có kích thước bằng với từ vựng, và mỗi từ được đại diện bởi một vector có tất cả các 0 và một 1 tại chỉ mục tương ứng với từ đó trong danh sách từ vựng.

Ví dụ về Mã hóa One-Hot

Giả sử chúng ta có một từ vựng nhỏ với chỉ năm từ: [“king”, “queen”, “man”, “woman”, “child”]. Các vector mã hóa one-hot cho mỗi từ sẽ trông như thế này:

• “king” -> [1, 0, 0, 0, 0]
• “queen” -> [0, 1, 0, 0, 0]
• “man” -> [0, 0, 1, 0, 0]
• “woman” -> [0, 0, 0, 1, 0]
• “child” -> [0, 0, 0, 0, 1]

Đại diện Toán học

Nếu chúng ta biểu thị $V$ là kích thước của từ vựng và wi​ là vector one-hot của từ thứ i trong từ vựng, thì đại diện toán học của wi​ sẽ là:

wi​=[0,0,…,1,…,0,0] $\text{với vị trí i-th là 1 và tất cả các vị trí khác là 0.}$

Hạn chế chính của mã hóa one-hot là nó coi mỗi từ như một thực thể cô lập, không có mối quan hệ với các từ khác. Điều này dẫn đến vector thưa thớt và có kích thước cao, không nắm bắt được bất kỳ thông tin ngữ nghĩa hoặc cú pháp nào về các từ.

Sự ra đời của các vector từ, đặc biệt là Word2Vec, là một bước ngoặt quan trọng trong NLP. Phát triển bởi một nhóm tại Google (GOOGL ) do Tomas Mikolov dẫn đầu vào năm 2013, Word2Vec đại diện cho từ trong một không gian vector dày đặc, nắm bắt mối quan hệ cú pháp và ngữ nghĩa giữa các từ dựa trên ngữ cảnh của chúng trong các tập dữ liệu văn bản lớn.

Không giống như mã hóa one-hot, Word2Vec tạo ra vector dày đặc, thường có hàng trăm chiều. Các từ xuất hiện trong cùng một ngữ cảnh, chẳng hạn như “king” và “queen”, sẽ có vector đại diện gần nhau hơn trong không gian vector.

Để minh họa, giả sử chúng ta đã đào tạo một mô hình Word2Vec và hiện đại diện cho từ trong một không gian 3 chiều. Các vector đại diện (thường có nhiều hơn 3 chiều nhưng giảm xuống 3 chiều ở đây vì sự đơn giản) có thể trông như thế này:

• “king” -> [0.2, 0.1, 0.9]
• “queen” -> [0.21, 0.13, 0.85]
• “man” -> [0.4, 0.3, 0.2]
• “woman” -> [0.41, 0.33, 0.27]
• “child” -> [0.5, 0.5, 0.1]

Mặc dù những con số này là hư cấu, nhưng chúng minh họa cách các từ tương tự có vector tương tự.

Đại diện Toán học

Nếu chúng ta biểu thị vector Word2Vec của một từ là vw​, và không gian vector của chúng tôi có $d$ chiều, thì vw​ có thể được biểu diễn là:

vw​=[v1​,v2​,…,vd​] với mỗi vi​ là một số thực thể đại diện cho một tính năng của từ trong không gian vector.

Mối quan hệ Ngữ nghĩa

Word2Vec thậm chí có thể nắm bắt các mối quan hệ phức tạp, chẳng hạn như tương tự. Ví dụ, mối quan hệ nổi tiếng được nắm bắt bởi các vector Word2Vec là:

$\text{vector(“king”) – vector(“man”) + vector(“woman”)}\approx \text{vector(“queen”)}$

Điều này có thể xảy ra vì Word2Vec điều chỉnh các vector từ trong quá trình đào tạo để các từ chia sẻ ngữ cảnh chung trong tập dữ liệu được đặt gần nhau trong không gian vector.

Word2Vec sử dụng hai kiến trúc chính để tạo ra một biểu diễn phân tán của từ: Continuous Bag-of-Words (CBOW) và Skip-Gram. CBOW dự đoán một từ mục tiêu từ các từ ngữ cảnh xung quanh, trong khi Skip-Gram thực hiện ngược lại, dự đoán các từ ngữ cảnh từ một từ mục tiêu. Điều này cho phép máy móc bắt đầu hiểu cách sử dụng và ý nghĩa của từ một cách tinh tế hơn.

Mô hình Chuỗi: RNNs và LSTMs

Khi lĩnh vực này tiến bộ, sự chú ý đã chuyển sang việc hiểu các chuỗi văn bản, điều này rất quan trọng cho các nhiệm vụ như dịch máy, tóm tắt văn bản và phân tích cảm xúc. Mạng nơ-ron hồi quy (RNNs) đã trở thành nền tảng cho các ứng dụng này do khả năng xử lý dữ liệu tuần tự bằng cách duy trì một dạng bộ nhớ.

Tuy nhiên, RNNs không thiếu hạn chế. Chúng gặp khó khăn với các mối quan hệ lâu dài do vấn đề gradient biến mất, nơi thông tin bị mất qua các chuỗi dài, khiến việc học các mối quan hệ giữa các sự kiện xa trở nên khó khăn.

Mạng nơ-ron nhớ ngắn hạn dài (LSTMs), được giới thiệu bởi Sepp Hochreiter và Jürgen Schmidhuber vào năm 1997, đã giải quyết vấn đề này với một kiến trúc tinh vi hơn. LSTMs có các cổng kiểm soát dòng thông tin: cổng nhập, cổng quên và cổng xuất. Những cổng này quyết định thông tin nào được lưu trữ, cập nhật hoặc loại bỏ, cho phép mạng giữ lại các mối quan hệ lâu dài và cải thiện đáng kể hiệu suất trên nhiều nhiệm vụ NLP.

Kiến trúc Transformer

Phong cảnh của NLP đã trải qua một sự thay đổi lớn với sự ra đời của mô hình transformer trong bài báo có ảnh hưởng “Attention is All You Need” của Vaswani và cộng sự vào năm 2017. Kiến trúc transformer rời bỏ việc xử lý tuần tự của RNNs và LSTMs và thay vào đó sử dụng một cơ chế gọi là ‘tự chú ý’ để đánh giá tầm quan trọng của các phần khác nhau của dữ liệu đầu vào.

Ý tưởng cốt lõi của transformer là nó có thể xử lý toàn bộ dữ liệu đầu vào cùng một lúc, thay vì tuần tự. Điều này cho phép nhiều song song hóa hơn và, kết quả là, tốc độ đào tạo tăng đáng kể. Cơ chế tự chú ý cho phép mô hình tập trung vào các phần khác nhau của văn bản khi nó được xử lý, điều này rất quan trọng để hiểu ngữ cảnh và mối quan hệ giữa các từ, bất kể vị trí của chúng trong văn bản.

Mã hóa và Giải mã trong Transformer:

Trong mô hình Transformer ban đầu, như được mô tả trong bài báo “Attention is All You Need” của Vaswani và cộng sự, kiến trúc được chia thành hai phần chính: mã hóa và giải mã. Cả hai phần đều được cấu thành từ các lớp có cấu trúc chung nhưng phục vụ các mục đích khác nhau.

Mã hóa:

• Vai trò: Vai trò của mã hóa là xử lý dữ liệu đầu vào và tạo ra một biểu diễn nắm bắt các mối quan hệ giữa các phần tử (như từ trong một câu). Phần này của transformer không tạo ra bất kỳ nội dung mới nào; nó chỉ biến đổi đầu vào thành một trạng thái mà giải mã có thể sử dụng.
• Chức năng: Mỗi lớp mã hóa có cơ chế tự chú ý và mạng nơ-ron truyền thẳng. Cơ chế tự chú ý cho phép mỗi vị trí trong mã hóa chú ý đến tất cả các vị trí trong lớp trước của mã hóa — do đó, nó có thể học ngữ cảnh xung quanh mỗi từ.
• Đại diện Ngữ cảnh: Đầu ra của mã hóa là một loạt vector đại diện cho chuỗi đầu vào trong một không gian chiều cao. Những vector này thường được gọi là đại diện ngữ cảnh vì chúng không chỉ mã hóa các từ riêng lẻ mà còn ngữ cảnh của chúng trong câu.

Giải mã:

• Vai trò: Vai trò của giải mã là tạo ra dữ liệu đầu ra tuần tự, một phần tại một thời điểm, dựa trên đầu vào nó nhận từ mã hóa và những gì nó đã tạo ra cho đến nay. Nó được thiết kế cho các nhiệm vụ như tạo văn bản, nơi thứ tự tạo ra là quan trọng.
• Chức năng: Các lớp giải mã cũng chứa cơ chế tự chú ý, nhưng chúng được che để ngăn chặn các vị trí chú ý đến các vị trí sau. Điều này đảm bảo rằng dự đoán cho một vị trí cụ thể chỉ phụ thuộc vào đầu ra đã biết tại các vị trí trước đó. Ngoài ra, các lớp giải mã bao gồm một cơ chế chú ý thứ hai chú ý đến đầu ra của mã hóa, tích hợp ngữ cảnh từ đầu vào vào quá trình tạo.
• Khả năng Tạo tuần tự: Điều này đề cập đến khả năng của giải mã tạo ra một chuỗi một phần tại một thời điểm, xây dựng trên những gì nó đã tạo ra. Ví dụ, khi tạo văn bản, giải mã dự đoán từ tiếp theo dựa trên ngữ cảnh cung cấp bởi mã hóa và chuỗi từ mà nó đã tạo ra.

Mỗi lớp con trong mã hóa và giải mã đều rất quan trọng cho khả năng của mô hình trong việc xử lý các nhiệm vụ NLP phức tạp. Cơ chế tự chú ý đa đầu đặc biệt cho phép mô hình tập trung chọn lọc vào các phần khác nhau của chuỗi, cung cấp một sự hiểu biết phong phú về ngữ cảnh.

Các Mô hình Nổi tiếng Sử dụng Transformer

Sau thành công ban đầu của mô hình transformer, đã có một loạt các mô hình mới được xây dựng trên kiến trúc này, mỗi mô hình có những đổi mới và tối ưu hóa riêng cho các nhiệm vụ khác nhau:

BERT (Bi-Directional Encoder Representations from Transformers): Được Google giới thiệu vào năm 2018, BERT đã cách mạng hóa cách thông tin ngữ cảnh được tích hợp vào các biểu diễn ngôn ngữ. Bằng cách tiền đào tạo trên một tập dữ liệu văn bản lớn với mô hình ngôn ngữ bị che và dự đoán câu tiếp theo, BERT nắm bắt được ngữ cảnh song hướng phong phú và đã đạt được kết quả hàng đầu trên nhiều nhiệm vụ NLP.

BERT

T5 (Text-to-Text Transfer Transformer): Được Google giới thiệu vào năm 2020, T5 định hình lại tất cả các nhiệm vụ NLP thành một vấn đề văn bản-sang-văn bản, sử dụng một định dạng văn bản thống nhất. Cách tiếp cận này đơn giản hóa quá trình áp dụng mô hình cho nhiều nhiệm vụ, bao gồm dịch, tóm tắt và trả lời câu hỏi.

T5 Architecture

GPT (Generative Pre-trained Transformer): Được OpenAI phát triển, dòng mô hình GPT bắt đầu từ GPT-1 và đạt đến GPT-4 vào năm 2023. Những mô hình này được tiền đào tạo bằng học không giám sát trên lượng lớn dữ liệu văn bản và tinh chỉnh cho các nhiệm vụ cụ thể. Khả năng tạo ra văn bản mạch lạc và phù hợp ngữ cảnh của chúng đã khiến chúng trở nên rất có ảnh hưởng trong cả ứng dụng học thuật và thương mại.

GPT Architecture

Dưới đây là một so sánh sâu hơn về các mô hình T5, BERT và GPT trên nhiều khía cạnh:

1. Phân từ và Từ vựng

• BERT: Sử dụng phân từ WordPiece với kích thước từ vựng khoảng 30.000 token.
• GPT: Sử dụng mã hóa Byte Pair (BPE) với kích thước từ vựng lớn (ví dụ, GPT-3 có kích thước từ vựng 175.000).
• T5: Sử dụng phân từ SentencePiece, coi văn bản là thô và không yêu cầu từ đã được phân đoạn.

2. Mục tiêu Tiền đào tạo

• BERT: Mô hình ngôn ngữ bị che và dự đoán câu tiếp theo.
• GPT: Mô hình ngôn ngữ nhân quả, nơi mỗi token dự đoán token tiếp theo trong chuỗi.
• T5: Sử dụng mục tiêu làm mất mát, nơi các khoảng văn bản ngẫu nhiên được thay thế bằng một token sentinel và mô hình học cách tái tạo văn bản gốc.

3. Biểu diễn Đầu vào

• BERT: Kết hợp nhúng token, phân đoạn và vị trí để biểu diễn đầu vào.
• GPT: Kết hợp nhúng token và vị trí (không có nhúng phân đoạn vì nó không được thiết kế cho các nhiệm vụ cặp câu).
• T5: Chỉ sử dụng nhúng token với mã vị trí tương đối được thêm vào trong quá trình chú ý.

4. Cơ chế Chú ý

• BERT: Sử dụng mã vị trí tuyệt đối và cho phép mỗi token chú ý đến tất cả các token bên trái và bên phải (chú ý song hướng).
• GPT: Cũng sử dụng mã vị trí tuyệt đối nhưng hạn chế chú ý đến các token trước (chú ý đơn hướng).
• T5: Thực hiện một biến thể của transformer sử dụng thiên vị vị trí tương đối thay vì mã vị trí.

5. Kiến trúc Mô hình

• BERT: Kiến trúc chỉ mã hóa với nhiều lớp khối transformer.
• GPT: Kiến trúc chỉ giải mã, cũng với nhiều lớp nhưng được thiết kế cho các nhiệm vụ tạo.
• T5: Kiến trúc mã hóa-giải mã, nơi cả mã hóa và giải mã đều được cấu thành từ các lớp transformer.

6. Phương pháp Tinh chỉnh

• BERT: Điều chỉnh các trạng thái ẩn cuối cùng của mô hình tiền đào tạo cho các nhiệm vụ hạ nguồn với các lớp đầu ra bổ sung khi cần.
• GPT: Thêm một lớp tuyến tính trên đầu transformer và tinh chỉnh trên nhiệm vụ hạ nguồn bằng cách sử dụng cùng một mục tiêu mô hình ngôn ngữ nhân quả.
• T5: Chuyển đổi tất cả các nhiệm vụ thành định dạng văn bản-sang-văn bản, nơi mô hình được tinh chỉnh để tạo ra chuỗi đích từ chuỗi đầu vào.

7. Dữ liệu Đào tạo và Quy mô

• BERT: Được đào tạo trên BooksCorpus và Wikipedia tiếng Anh.
• GPT: GPT-2 và GPT-3 đã được đào tạo trên các tập dữ liệu đa dạng được trích xuất từ internet, với GPT-3 được đào tạo trên một tập dữ liệu lớn hơn gọi là Common Crawl.
• T5: Được đào tạo trên “Colossal Clean Crawled Corpus”, một phiên bản lớn và sạch của Common Crawl.

8. Xử lý Ngữ cảnh và Song hướng

• BERT: Được thiết kế để hiểu ngữ cảnh trong cả hai hướng cùng một lúc.
• GPT: Được đào tạo để hiểu ngữ cảnh theo hướng tiến (trái sang phải).
• T5: Có thể mô hình hóa ngữ cảnh song hướng trong mã hóa và đơn hướng trong giải mã, phù hợp cho các nhiệm vụ tuần tự-sang-tuần tự.

9. Khả năng Thích nghi với Nhiệm vụ Hạ nguồn

• BERT: Yêu cầu các lớp đầu ra cụ thể cho nhiệm vụ và tinh chỉnh cho mỗi nhiệm vụ hạ nguồn.
• GPT: Là mô hình tạo và có thể được yêu cầu thực hiện các nhiệm vụ với sự thay đổi tối thiểu về cấu trúc.
• T5: Xử lý mọi nhiệm vụ như một vấn đề “văn bản-sang-văn bản”, làm cho nó linh hoạt và thích nghi với các nhiệm vụ mới.

10. Khả năng Giải thích và Hiểu biết

• BERT: Tính chất song hướng cung cấp các biểu diễn ngữ cảnh phong phú nhưng có thể khó giải thích hơn.
• GPT: Tính chất đơn hướng có thể dễ theo dõi hơn nhưng thiếu độ sâu của ngữ cảnh song hướng.
• T5: Khung mã hóa-giải mã cung cấp một sự tách biệt rõ ràng của các bước xử lý nhưng có thể phức tạp để phân tích do tính chất tạo của nó.

Tác động của Transformer đến NLP

Transformer đã cách mạng hóa lĩnh vực NLP bằng cách cho phép mô hình xử lý các chuỗi dữ liệu song song, điều này đã tăng tốc đáng kể và hiệu quả khi đào tạo các mạng nơ-ron lớn. Chúng giới thiệu cơ chế tự chú ý, cho phép mô hình đánh giá tầm quan trọng của mỗi phần của dữ liệu đầu vào, bất kể khoảng cách trong chuỗi. Điều này dẫn đến sự cải thiện chưa từng có trong nhiều nhiệm vụ NLP, bao gồm nhưng không giới hạn ở dịch, trả lời câu hỏi và tóm tắt văn bản.

Nghiên cứu tiếp tục đẩy ranh giới của những gì các mô hình dựa trên transformer có thể đạt được. GPT-4 và các mô hình cùng thời là không chỉ lớn hơn về quy mô mà còn hiệu quả và mạnh mẽ hơn nhờ vào các tiến bộ về kiến trúc và phương pháp đào tạo. Các kỹ thuật như học với ít ví dụ, nơi mô hình thực hiện các nhiệm vụ với số ví dụ tối thiểu, và các phương pháp chuyển giao học hiệu quả hơn đang ở tiền phong của nghiên cứu hiện tại.

Các mô hình ngôn ngữ như những mô hình dựa trên transformer học từ dữ liệu có thể chứa các thiên vị. Các nhà nghiên cứu và thực hành viên đang tích cực làm việc để xác định, hiểu và giảm thiểu những thiên vị này. Các kỹ thuật bao gồm từ các tập dữ liệu đào tạo được kiểm duyệt đến các điều chỉnh sau đào tạo nhằm vào công bằng và trung lập.