GPT-3: Học tập với ít dữ liệu cho Mô hình Ngôn ngữ

Trong những năm gần đây, ngành công nghiệp AI và ML đã chứng kiến sự phát triển nhanh chóng trong việc phát triển và ứng dụng các hệ thống NLP, khi các nhà nghiên cứu đã có thể triển khai các phương pháp NLP một cách linh hoạt và không phụ thuộc vào nhiệm vụ cụ thể cho các nhiệm vụ chuyển giao.

Ban đầu, đó là các biểu diễn đơn lớp sử dụng vector từ và sau đó được đưa vào kiến trúc nhiệm vụ cụ thể. Tiếp theo, đó là kiến trúc RNN sử dụng biểu diễn đa lớp và trạng thái ngữ cảnh để tạo ra các biểu diễn tốt hơn. Và gần đây nhất, chúng ta có các mô hình ngôn ngữ chuyển giao hoặc mô hình hồi quy trước khi được đào tạo, đã loại bỏ hoàn toàn nhu cầu về kiến trúc nhiệm vụ cụ thể bằng cách tinh chỉnh các mạng này.

Các mô hình ngôn ngữ chuyển giao đã chứng minh là một bước ngoặt lớn trong ngành NLP, vì chúng đã dẫn đến sự tiến bộ đáng kể trong các nhiệm vụ khó khăn như trả lời câu hỏi, đọc hiểu hoặc các khối văn bản, suy luận văn bản và nhiều hơn nữa.

Tuy nhiên, mặc dù có những lợi thế, các mô hình ngôn ngữ chuyển giao có một hạn chế lớn là chúng yêu cầu tinh chỉnh nhiệm vụ cụ thể hoặc tập dữ liệu nhiệm vụ cụ thể để đạt được hiệu suất mong muốn trên một nhiệm vụ. Hơn nữa, các mô hình ngôn ngữ chuyển giao cũng yêu cầu các nhà phát triển tinh chỉnh các tập dữ liệu để hàng trăm nghìn ví dụ cụ thể cho một nhiệm vụ cụ thể.

Điều đó không cần phải nói rằng việc loại bỏ yêu cầu về tập dữ liệu nhiệm vụ cụ thể và tinh chỉnh nhiệm vụ cụ thể sẽ rất mong muốn và có lợi cho ngành NLP vì nhiều lý do.

Vấn đề với các Mô hình Ngôn ngữ Chuyển giao và Mô hình Hồi quy Hiện có

• Giới hạn Thực tiễn và Khả năng Ứng dụng

Trước hết, yêu cầu về một tập dữ liệu lớn với dữ liệu được dán nhãn cho mỗi nhiệm vụ hạn chế khả năng ứng dụng và thực tiễn của các mô hình ngôn ngữ. Các mô hình ngôn ngữ tìm thấy ứng dụng của chúng trong một loạt các nhiệm vụ khác nhau, từ tạo ra một câu chuyện ngắn, đến sửa lỗi ngữ pháp, đến tạo ra các ví dụ về một khái niệm. Đôi khi, việc thu thập một tập dữ liệu lớn với dữ liệu được dán nhãn cho mỗi nhiệm vụ cụ thể có thể là một nhiệm vụ khó khăn, đặc biệt là khi quá trình này cần được lặp lại cho mỗi nhiệm vụ riêng biệt.

• Khai thác Sự tương quan Ngẫu nhiên trong Dữ liệu Huấn luyện

Hạn chế và hẹp của phân phối huấn luyện kết hợp với khả năng biểu đạt của mô hình có thể dẫn đến sự tăng trưởng cơ bản trong khả năng khai thác sự tương quan ngẫu nhiên trong dữ liệu huấn luyện. Khả năng khai thác dữ liệu huấn luyện có thể dẫn đến vấn đề trong quá trình tinh chỉnh và huấn luyện trước vì các mô hình ngôn ngữ chuyển giao được thiết kế để hấp thụ một lượng lớn thông tin trong quá trình huấn luyện trước.

Hơn nữa, công việc trên các mô hình trước đây đã chỉ ra rằng các mô hình lớn không phải lúc nào cũng dẫn đến hiệu suất tốt hơn mỗi lần. Hơn nữa, cũng đã được chỉ ra rằng sự tổng quát hóa đạt được dưới mô hình này có thể dẫn đến hiệu suất kém vì mô hình rất cụ thể cho dữ liệu huấn luyện và không thể hoạt động tốt trên các tình huống ngoài phạm vi của dữ liệu huấn luyện.

• So sánh với Học tập của Con người

Cuối cùng, khi so sánh với các mô hình ngôn ngữ chuyển giao, con người không yêu cầu một tập dữ liệu lớn khi học tập đa số các nhiệm vụ ngôn ngữ. Hầu hết, một chỉ dẫn ngắn gọn trong ngôn ngữ tự nhiên của một người hoặc một bản demo nhỏ của nhiệm vụ ngôn ngữ thường đủ cho con người để hiểu và thực hiện một nhiệm vụ ngôn ngữ với một mức độ cạnh tranh nhất định.

Khả năng thích ứng của con người có nhiều lợi thế thực tiễn vì nó cho phép họ chuyển đổi giữa các kỹ năng khác nhau hoặc kết hợp chúng để thực hiện tốt hơn trong một nhiệm vụ, điều mà các hệ thống NLP hiện tại không thể làm được.

Giải quyết Vấn đề với Học tập Meta và GPT-3

Một giải pháp có thể cho các thách thức trên là sử dụng học tập meta, một khái niệm trong học máy hiện đại cho phép mô hình phát triển một tập hợp kỹ năng và khả năng nhận dạng mẫu rộng lớn hơn trong quá trình huấn luyện, và sau đó sử dụng các khả năng này trong quá trình suy luận để thích ứng nhanh chóng hoặc nhận dạng nhiệm vụ.

Học tập meta đang được triển khai trong kiến trúc mô hình ngôn ngữ thông qua một kỹ thuật gọi là “học tập trong ngữ cảnh” sử dụng đầu vào văn bản của một mô hình ngôn ngữ trước khi được đào tạo như một thông số kỹ thuật nhiệm vụ. Trong quá trình này, mô hình điều kiện trên một chỉ dẫn ngôn ngữ tự nhiên, và có thể sử dụng một số bản demo, và mô hình sau đó được mong đợi để hoàn thành phần còn lại của nhiệm vụ bằng cách dự đoán các bước tiếp theo.

Vấn đề duy nhất với học tập meta là mặc dù nó đã thể hiện tiềm năng tích cực, nhưng nó vẫn còn kém hơn so với phương pháp tinh chỉnh trong kiến trúc ngôn ngữ tự nhiên, và nó cần phải được cải thiện thêm để trở thành một phương pháp thực tế để vượt qua các nhiệm vụ ngôn ngữ.

Ngoài học tập meta, một phương pháp khác đang trở nên phổ biến là tăng khả năng của các mô hình ngôn ngữ chuyển giao. Trong những năm gần đây, các mô hình chuyển giao đã chứng kiến sự tăng trưởng đáng kể về khả năng với mô hình RNSS18 có 100 triệu tham số, mô hình DCLT18 có 300 triệu tham số, mô hình RWC19 có 1,5 tỷ tham số, mô hình SSP19 có 8 tỷ tham số, mô hình RSR19 có 11 tỷ tham số, và mô hình TUR20 có 17 tỷ tham số.

Tăng khả năng của mô hình hoặc tăng số tham số đã dẫn đến sự cải thiện trong tổng hợp văn bản, và đã có chỉ dẫn rằng sự mất mát log có liên quan đến các nhiệm vụ hạ lưu cũng tuân theo một xu hướng mịn khi tăng quy mô. Việc huấn luyện các mô hình có kích thước khác nhau cho phép các nhà phát triển kiểm tra giả thuyết này cho cả các nhiệm vụ ngôn ngữ hạ lưu và mất mát xác thực.

Điều đó dẫn chúng ta đến mô hình GPT-3, có hơn 175 tỷ tham số, và khi nó được ra mắt, nó là mô hình ngôn ngữ chuyển giao có khả năng cao nhất. Hãy để chúng ta nói về mô hình GPT-3.

Giới thiệu về Mô hình GPT-3

GPT-3 là một mô hình ngôn ngữ tự động với hơn 175 tỷ tham số được phát hành bởi OpenAI vào năm 2020. GPT-3 cũng được phân loại là một mô hình ngôn ngữ lớn, giống như người tiền nhiệm của nó, mô hình GPT-2, là một mô hình chuyển đổi sâu chỉ có bộ giải mã sử dụng kiến trúc chuyển đổi dựa trên convolution để tạo ra dữ liệu văn bản.

Mô hình GPT-3 đo lường khả năng học ngữ cảnh của chính nó, và mô hình GPT-3 được đánh giá trên hơn hai tá tập dữ liệu NLP và nhiều nhiệm vụ mới. Đối với mỗi nhiệm vụ riêng biệt, mô hình GPT-3 được đánh giá dưới ba điều kiện,

• Học tập với ít dữ liệu hoặc Học tập trong Ngữ cảnh: Trong học tập với ít dữ liệu, mô hình GPT-3 cho phép nhiều phân phối có thể phù hợp với cửa sổ ngữ cảnh của mô hình.
• Học tập với một ví dụ: Trong học tập với một ví dụ, mô hình chỉ cho phép một bản demo.
• Học tập không có ví dụ: Trong học tập không có ví dụ, không có bản demo nào, và chỉ có một chỉ dẫn ngôn ngữ tự nhiên được đưa vào mô hình.

Nói chung, mô hình GPT-3 đạt được hiệu suất mong muốn trong các thiết lập không có ví dụ và một ví dụ, và trong thiết lập học tập với ít dữ liệu, nó vượt qua các mô hình chuyển giao hiện tại hầu hết thời gian. Hơn nữa, mô hình GPT-3 hoạt động tốt trong các thiết lập một ví dụ và không có ví dụ trên các nhiệm vụ ngôn ngữ được thiết kế để kiểm tra lý luận nhanh hoặc yêu cầu chú ý nhanh như sử dụng từ mới sau một câu, hoặc giải mã từ, hoặc thực hiện các phép toán.

Mô hình GPT-3: Phương pháp

Mô hình GPT-3 sử dụng một phương pháp huấn luyện trước thông thường bao gồm mô hình, dữ liệu và huấn luyện, và nó giống như quá trình huấn luyện trước được theo dõi bởi mô hình chuyển giao RWC-19. Mô hình GPT-3 tăng quy mô mô hình, kích thước tập dữ liệu, sự đa dạng của tập dữ liệu, và tăng thời gian huấn luyện.

Mô hình cũng sử dụng một phương pháp học tập trong ngữ cảnh, một lần nữa giống như phương pháp của mô hình RWC-19, nhưng điều chỉnh một số thiết lập để khám phá các mẫu học tập trong ngữ cảnh của tập dữ liệu.

Vậy, hãy bắt đầu bằng cách khám phá các thiết lập này, và đánh giá cách mô hình GPT-3 hoạt động trên các thiết lập khác nhau.

Tinh chỉnh

Tinh chỉnh mô hình đã là phương pháp thông thường trong các mô hình ngôn ngữ chuyển giao, và phương pháp này bao gồm việc cập nhật trọng số của một mô hình được huấn luyện trước bằng cách huấn luyện mô hình trên một tập dữ liệu được giám sát cụ thể cho nhiệm vụ mong muốn, và hàng trăm nghìn ví dụ được dán nhãn được sử dụng trong quá trình này.

Phương pháp tinh chỉnh có lợi vì nó trả về hiệu suất mạnh trên nhiều tiêu chuẩn. Mặt khác, hạn chế chính của việc sử dụng phương pháp tinh chỉnh là nó yêu cầu một tập dữ liệu mới và lớn cho mỗi nhiệm vụ riêng biệt, có khả năng khai thác các tính năng ngẫu nhiên của tập dữ liệu huấn luyện, và có thể dẫn đến so sánh không công bằng với hiệu suất của con người, và tổng quát hóa kém cho các tình huống ngoài phân phối.

Phạm vi hiện tại của mô hình GPT-3 không triển khai phương pháp tinh chỉnh do hiệu suất không phụ thuộc vào nhiệm vụ của nó, mặc dù tinh chỉnh có thể được áp dụng cho mô hình GPT-3 trong tương lai.

Học tập với ít dữ liệu

Học tập với ít dữ liệu là một thuật ngữ chỉ thiết lập nơi mô hình GPT-3 được đưa ra một số bản demo của nhiệm vụ trong quá trình suy luận như điều kiện, nhưng trọng số của mô hình không được cập nhật. Trong các thiết lập học tập với ít dữ liệu, tập dữ liệu thường có một ví dụ với ngữ cảnh và hoàn thành mong muốn.

Lợi thế chính của việc sử dụng thiết lập học tập với ít dữ liệu là nó giảm đáng kể nhu cầu về dữ liệu nhiệm vụ cụ thể, và cũng giảm khả năng học một phân phối hẹp từ một tập dữ liệu lớn được tinh chỉnh hẹp. Mặt khác, hạn chế chính của việc sử dụng học tập với ít dữ liệu là kết quả được trả về trong thiết lập học tập với ít dữ liệu không đạt tiêu chuẩn và kém hơn đáng kể so với các mô hình hiện tại khác được tinh chỉnh.

Học tập với một ví dụ

Trong thiết lập học tập với một ví dụ, mô hình chỉ được đưa ra một bản demo, và phần còn lại giống như thiết lập học tập với ít dữ liệu. Lý do tại sao thiết lập học tập với một ví dụ có liên quan trong các mô hình ngôn ngữ chuyển giao là vì trong số cả ba thiết lập, học tập với một ví dụ là thiết lập giống nhất với cách nhiệm vụ được giao tiếp với con người.

Học tập không có ví dụ

Trong thiết lập học tập không có ví dụ, không có bản demo nào, và mô hình được đưa ra một chỉ dẫn ngôn ngữ tự nhiên mô tả nhiệm vụ. Phương pháp học tập không có ví dụ là phương pháp cung cấp sự tiện lợi tối đa, mạnh mẽ và cũng tránh sự tương quan ngẫu nhiên, nhưng nó cũng là thiết lập khó khăn nhất trong số cả ba.

Dù vậy, đối với một số nhiệm vụ, thiết lập học tập không có ví dụ là thiết lập giống nhất với cách con người thực hiện các nhiệm vụ ngôn ngữ.

Hình ảnh trên so sánh thiết lập học tập với ít dữ liệu, học tập với một ví dụ và học tập không có ví dụ khi thực hiện một nhiệm vụ ngôn ngữ của việc dịch một câu từ tiếng Anh sang tiếng Pháp.

Mô hình GPT-3: Kiến trúc

Mô hình GPT-3 sử dụng cùng một kiến trúc như được sử dụng trong mô hình GPT-2, và nó bao gồm tiền chuẩn hóa, khởi tạo sửa đổi và kỹ thuật token hóa đảo ngược như được sử dụng trên mô hình GPT với ngoại lệ sử dụng một chiến lược thay thế cho các mẫu chú ý thưa thớt cục bộ và các lớp dày đặc thay thế trong các lớp chuyển đổi.

Để nghiên cứu sự phụ thuộc của hiệu suất mô hình vào kích thước mô hình, các nhà phát triển đã huấn luyện 8 mô hình khác nhau với kích thước nằm trong ba bậc độ lớn khác nhau từ 125 triệu đến hơn 175 tỷ tham số, mô hình cuối cùng trong số đó được gọi là mô hình GPT-3. Các công việc trước đây liên quan đến các mô hình LLM đã chỉ ra rằng việc mở rộng mất mát xác thực với đủ dữ liệu huấn luyện nên là một luật mịn gần như một hàm của kích thước.

Hình ảnh trên so sánh kích thước và kiến trúc của 8 mô hình khác nhau được sử dụng cho sự phát triển của GPT-3. Ở đây, n(params) định nghĩa tổng số tham số có thể huấn luyện, n(layers) định nghĩa tổng số lớp trong mô hình, d(model) định nghĩa số đơn vị trong mỗi lớp của cổ chai, và d(head) định nghĩa chiều của mỗi đầu chú ý. Cửa sổ ngữ cảnh cho mỗi mô hình là giống nhau với 2048 token.

Hơn nữa, để giảm thiểu việc chuyển dữ liệu giữa các nút, mô hình được phân chia trên các GPU dọc theo chiều sâu và chiều rộng của các chiều. Các tham số kiến trúc cho mỗi mô hình đã được chọn dựa trên hiệu quả tính toán và cân bằng tải để tối đa hóa độ chính xác trong việc bố trí mô hình trên các GPU.

Tập dữ liệu Huấn luyện

Thông thường, các mô hình ngôn ngữ lớn sử dụng các tập dữ liệu đã mở rộng đáng kể với các phát triển gần đây, và chúng kết thúc trong tập dữ liệu Common Crawl bao gồm hơn một nghìn tỷ từ khác nhau. Kích thước của tập dữ liệu là đủ để huấn luyện mô hình GPT-3 mà không cần cập nhật trên cùng một trình tự nhiều lần.

Tuy nhiên, các nghiên cứu và phân tích hiệu suất chỉ ra rằng các phiên bản lọc nhẹ hoặc không lọc của tập dữ liệu Common Crawl có chất lượng thấp hơn so với các tập dữ liệu được chăm sóc hơn.

1. Các nhà phát triển đã tải xuống và lọc một phiên bản của tập dữ liệu Common Crawl dựa trên một phạm vi tương tự như các tập dữ liệu tham chiếu chất lượng cao.
2. Các nhà phát triển đã thực hiện trùng lặp mờ tại cấp độ tài liệu trên toàn bộ tập dữ liệu trong một nỗ lực để bảo tồn tính toàn vẹn của tập xác thực được giữ lại của họ như một biện pháp hiệu quả để kiểm tra quá trình huấn luyện, và cũng để ngăn chặn sự trùng lặp.
3. Các nhà phát triển cũng đã thêm các tập dữ liệu tham chiếu chất lượng cao vào dữ liệu huấn luyện để tăng cường tập dữ liệu Common Crawl, và để tăng thêm sự đa dạng của tập dữ liệu.

Hình ảnh dưới đây cho thấy tỷ lệ cuối cùng hoặc sự kết hợp của các tập dữ liệu được sử dụng để huấn luyện mô hình GPT-3. Dữ liệu Common Crawl bao gồm hơn 45 TB văn bản thuần túy trước khi lọc, được giảm xuống còn 570 GB dữ liệu sau khi lọc, tương đương khoảng 400 tỷ token mã hóa cặp byte.

Một mối quan ngại đáng kể với các mô hình ngôn ngữ lớn được huấn luyện trước trên một lượng lớn dữ liệu internet có khả năng ghi nhớ và học một lượng lớn nội dung là khả năng ô nhiễm của các nhiệm vụ hạ lưu bằng cách đưa các tập phát triển và kiểm tra của các tiêu chuẩn được nghiên cứu cho GPT-3 vào quá trình huấn luyện trước.

Hình ảnh trên cho thấy tổng tính toán được sử dụng trong quá trình huấn luyện của mô hình GPT-3. Mô hình sử dụng Luật mở rộng cho các Mô hình Ngôn ngữ để huấn luyện các mô hình lớn hơn trên ít token hơn so với thông thường.

Đánh giá

Đối với học tập với ít dữ liệu, mô hình đánh giá mỗi ví dụ trong tập dữ liệu đánh giá bằng cách vẽ ngẫu nhiên K ví dụ từ tập dữ liệu huấn luyện của nhiệm vụ như điều kiện, và phân cách nó bằng 1 hoặc 2 dòng mới tùy thuộc vào nhiệm vụ.

K có thể là bất kỳ giá trị nào từ 0 đến số lượng tối đa được phép bởi cửa sổ ngữ cảnh của mô hình, là next = 2048 cho tất cả các mô hình, và nó thường phù hợp với khoảng 10 đến 100 ví dụ. Các giá trị lớn hơn của K thường dẫn đến kết quả tốt hơn, nhưng không phải lúc nào cũng vậy, đó là lý do tại sao khi mô hình có một tập kiểm tra và một tập phát triển riêng biệt, mô hình sẽ thử nghiệm một số giá trị của K trên tập phát triển, và dựa trên kết quả, nó sẽ chạy giá trị tốt nhất trên tập kiểm tra.

Hơn nữa, đối với các nhiệm vụ yêu cầu chọn một hoàn thành chính xác từ nhiều tùy chọn, các nhà phát triển cung cấp K ví dụ của hoàn thành và ngữ cảnh, và sau đó cung cấp một ví dụ của ngữ cảnh chỉ, và các nhiệm vụ được so sánh dựa trên khả năng của mô hình ngôn ngữ của mỗi hoàn thành.

Đối với các nhiệm vụ yêu cầu phân loại nhị phân, mô hình thường cung cấp các tùy chọn với ý nghĩa ngữ nghĩa và tên có ý nghĩa hơn, và sau đó xử lý nhiệm vụ như một nhiệm vụ lựa chọn nhiều, và đôi khi cũng xử lý nhiệm vụ giống như mô hình RSR và kiến trúc.

Kết quả

Hình ảnh trên hiển thị các đường cong huấn luyện cho 8 mô hình được sử dụng trong kiến trúc mô hình GPT-3, như đã mô tả trong các phần trước. Giống như kết quả từ mô hình ngôn ngữ KMH, hiệu suất của mô hình GPT-3 tuân theo một luật khi sử dụng tính toán huấn luyện một cách hiệu quả.

Trước khi đánh giá 8 mô hình khác nhau trên một loạt các tập dữ liệu huấn luyện, các tập dữ liệu được nhóm thành 8 danh mục khác nhau đại diện cho các nhiệm vụ tương tự.

1. Đánh giá trên các nhiệm vụ ngôn ngữ truyền thống và các nhiệm vụ giống như ngôn ngữ, như nhiệm vụ Cloze hoặc hoàn thành câu/đoạn văn.
2. Đánh giá trên các nhiệm vụ trả lời câu hỏi “sách đóng”.
3. Đánh giá khả năng dịch giữa các ngôn ngữ (đặc biệt là một-shot và vài-shot)
4. Đánh giá hiệu suất của mô hình trên các nhiệm vụ giống như lược đồ Winograd.
5. Đánh giá trên các tập dữ liệu liên quan đến suy luận thông thường hoặc trả lời câu hỏi.
6. Đánh giá trên các nhiệm vụ đọc hiểu.
7. Đánh giá trên bộ tiêu chuẩn SuperGLUE.
8. Khám phá NLI.

Mô hình Ngôn ngữ, Hoàn thành và Nhiệm vụ Cloze

Trong phần này, hiệu suất của mô hình GPT-3 được đánh giá trên các nhiệm vụ ngôn ngữ truyền thống cũng như các nhiệm vụ yêu cầu dự đoán một từ quan tâm duy nhất, hoặc hoàn thành một đoạn văn hoặc một câu, hoặc hoàn thành một phần của văn bản.

Mô hình Ngôn ngữ

Mô hình GPT-3 tính toán độ bối rối không có ví dụ trên tập dữ liệu PTB hoặc Penn Tree Bank. Mô hình bỏ qua các nhiệm vụ liên quan đến Wikipedia vì nó đã được bao gồm trong dữ liệu huấn luyện của mô hình, và chuẩn mực một tỷ từ cũng bị bỏ qua vì nó gây ra một lượng ma sát đáng kể của dữ liệu trong dữ liệu huấn luyện.

Tuy nhiên, tập dữ liệu PTB giải quyết các vấn đề này vì nó có trước internet hiện đại. Mô hình lớn nhất trong kiến trúc mô hình GPT-3 thiết lập một điểm chuẩn mới trên tập dữ liệu PTB với một khoảng cách đáng kể là 15 điểm, và đạt được độ bối rối là 20,50.

LAMBADA

Tập dữ liệu LAMBADA được sử dụng để kiểm tra mô hình hóa các phụ thuộc phạm vi dài trong các đoạn văn hoặc văn bản.

Mô hình GPT-3 đạt được độ chính xác là 76% trên tập dữ liệu LAMBADA, và có một lợi thế hơn 8% so với các mô hình tốt nhất trước đó.

Hơn nữa, mô hình LAMBADA chứng minh sự linh hoạt của học tập với ít dữ liệu khi nó giải quyết vấn đề theo cách cổ điển với tập dữ liệu.

Trả lời Câu hỏi “Sách Đóng”

Trả lời câu hỏi “sách đóng” là một nỗ lực để đo lường khả năng của mô hình GPT-3 trong việc trả lời câu hỏi dựa trên kiến thức thực tế rộng.

Hình ảnh trên so sánh kết quả cho mô hình GPT-3 so với các mô hình khác và chạy trên các tập dữ liệu khác nhau.

Có thể thấy rõ ràng rằng mô hình GPT-3 trong thiết lập không có ví dụ vượt qua mô hình T5-11B được tinh chỉnh với một khoảng cách hơn 14%.

Hình ảnh trên cho thấy hiệu suất của mô hình GPT-3 tăng lên một cách mịn khi tăng kích thước mô hình.

Suy nghĩ Cuối cùng

Có thể nói rằng GPT-3 là một giai đoạn cách mạng trong ngành công nghiệp LLM, vì GPT-3 đã giúp mở rộng ranh giới của những gì một mô hình ngôn ngữ có thể làm.