GPT-2, Trình Tạo Văn Bản Trí Tuệ Nhân Tạo Được Phát Hành Toàn Bộ

Theo TheNextWeb (TNW) báo cáo, OpenAI, tổ chức phi lợi nhuận đứng sau nhiều dự án trí tuệ nhân tạo đã vừa phát hành mô hình cuối cùng trong kế hoạch phát hành từng giai đoạn cho GPT-2, một trình tạo văn bản đã gây ra nhiều tranh cãi kể từ khi nó được công bố vào tháng 2.

Dựa trên bài báo nghiên cứu của OpenAI có tiêu đề Language Models are Unsupervised Multitask Learners, “GPT-2 sử dụng học máy để tạo ra văn bản mới dựa trên đầu vào hạn chế.” Điều đó có nghĩa là người dùng có thể nhập một hoặc hai câu về bất kỳ chủ đề nào và trình tạo văn bản sẽ tạo ra một văn bản có liên quan đến đầu vào ban đầu. Về bản chất, như TNW lưu ý, không giống như hầu hết các ‘trình tạo văn bản’ khác, nó không xuất ra các chuỗi văn bản đã được viết sẵn. GPT-2 tạo ra văn bản chưa từng tồn tại trước đó.”

Trong một dòng tweet, Scott B. Weingart, giám đốc chương trình của Thư viện Đại học Carnegie Mellon đã đưa ra một ví dụ cụ thể:

What is a Panther but a young lion?

Một hành lang đầy người đang hét lên.

Đây có phải là một kết thúc hạnh phúc không? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) 20 tháng 8, 2019

Nếu cái chết, trong một giờ tối và xa,
Đánh tôi trong khi tôi đang ngủ, nếu tôi vẫn đang mơ:
Có phải đó là sự yên bình của tôi với một sự tồn tại vĩnh cửu?
[…]
Nhưng tôi sợ rằng sẽ không có sự yên bình hay nghỉ ngơi
Cho đến khi các ngôi sao cho tôi ánh sáng đầy đủ của chúng
Để xem tất cả những lo lắng và nỗi buồn của tôi trong một瞬间.

Thật đáng sợ. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) 20 tháng 8, 2019

OpenAI ban đầu lo ngại về việc sử dụng có thể gây hại của hệ thống của họ nên vào tháng 2 năm 2019 họ quyết định phát hành GPT-2 trong bốn giai đoạn trong tám tháng. Như họ giải thích trong blog của mình, “Do lo ngại về các ứng dụng độc hại của công nghệ, chúng tôi không phát hành mô hình đã được đào tạo. Để thực hiện một thí nghiệm về việc tiết lộ có trách nhiệm, chúng tôi thay vào đó phát hành một mô hình nhỏ hơn cho các nhà nghiên cứu để thí nghiệm, cũng như một bài báo kỹ thuật.”

Như đã giải thích, mô hình đầy đủ chứa 1,5 tỷ tham số. “Càng nhiều tham số mà một mô hình được đào tạo, nó sẽ càng ‘thông minh’ – giống như con người, thực hành làm cho hoàn hảo.”

TNW lưu ý rằng ban đầu OpenAI phát hành một mô hình với 124 triệu tham số, sau đó là các mô hình với 355 và 774 triệu tham số. Theo họ, sau khi thử nghiệm các mô hình đã phát hành, “mỗi lần lặp lại đã cho thấy sự cải thiện đáng kể về khả năng so với các lần lặp lại trước đó.”

Để ngăn chặn việc lạm dụng, OpenAI đã phát hành các mô hình phát hiện GPT-2 được cho là “để ngăn chặn trước việc lạm dụng.” Theo lời thừa nhận của họ trong một bài đăng trên blog, những mô hình phát hiện này vẫn cần thêm công việc để đạt được mức chất lượng đã đạt được cho đến nay trong GPT-2 chính nó.

Những người quan tâm có thể tải mô hình GPT-2 tại đây trên Github, xem thẻ mô hình tại đây, và đọc bài đăng trên blog của OpenAI tại đây.