GPT-2, Trình Tạo Văn Bản Trí Tuệ Nhân Tạo Được Phát Hành Toàn Bộ

Như TheNextWeb (TNW) báo cáo, OpenAI, tổ chức phi lợi nhuận đứng sau một số dự án trí tuệ nhân tạo đã vừa xuất bản mô hình cuối cùng trong giai đoạn phát hành có kế hoạch cho GPT-2, một trình tạo văn bản đã gây ra rất nhiều tranh cãi kể từ khi nó được công bố vào tháng 2.

Dựa trên bài báo nghiên cứu của OpenAI có tiêu đề Language Models are Unsupervised Multitask Learners, “GPT-2 sử dụng học máy để tạo ra văn bản mới dựa trên đầu vào hạn chế.” Điều đó có nghĩa là người dùng có thể nhập một câu hoặc hai câu về bất kỳ chủ đề nào và trình tạo AI sẽ tạo ra một văn bản có liên quan đến đầu vào ban đầu. Về bản chất, như TNW lưu ý, không giống như hầu hết các ‘trình tạo văn bản’ khác, nó không xuất ra các chuỗi đã được viết trước. GPT-2 tạo ra văn bản chưa từng tồn tại trước đó.”

Trong một tweet, Scott B. Weingart, giám đốc chương trình của Thư viện Đại học Carnegie Mellon đưa ra một ví dụ cụ thể:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI ban đầu lo ngại về các ứng dụng độc hại có thể của hệ thống của họ nên vào tháng 2 năm 2019, họ quyết định phát hành GPT-2 theo bốn phần trong tám tháng. Như họ giải thích trong blog của mình, “Do lo ngại về các ứng dụng độc hại của công nghệ, chúng tôi không phát hành mô hình đã được đào tạo. Như một thí nghiệm về việc tiết lộ có trách nhiệm, chúng tôi thay vào đó phát hành một mô hình nhỏ hơn cho các nhà nghiên cứu để thí nghiệm, cũng như một bài báo kỹ thuật.”

Như đã giải thích, mô hình đầy đủ chứa 1,5 tỷ tham số. “Càng nhiều tham số mà một mô hình được đào tạo, nó sẽ càng ‘thông minh’ – giống như con người, thực hành làm cho hoàn hảo.”

TNW lưu ý rằng ban đầu OpenAI phát hành một mô hình với 124 triệu tham số, sau đó là các mô hình với 355 và 774 triệu tham số. Theo họ, sau khi thử nghiệm các mô hình đã phát hành, “mỗi lần lặp lại đều cho thấy sự cải thiện đáng kể về khả năng so với các lần lặp lại trước đó.”

Để ngăn chặn việc lạm dụng, OpenAI đã phát hành các mô hình phát hiện GPT-2 được cho là “để chống lại việc lạm dụng một cách chủ động.” Theo lời thú nhận của họ trong một bài đăng trên blog, các mô hình phát hiện này vẫn cần thêm công việc để đạt được mức chất lượng đã đạt được cho đến nay trong chính GPT-2.

Những người quan tâm có thể tải mô hình GPT-2 tại đây trên Github, xem thẻ mô hình tại đây, và đọc bài đăng trên blog của OpenAI tại đây.