GPT-4 sẽ đưa chúng ta đến gần hơn với một cuộc cách mạng AI thực sự?

Đã gần ba năm kể từ khi GPT-3 được giới thiệu, vào tháng 2020 năm 4. Kể từ đó, mô hình tạo văn bản AI đã thu hút được rất nhiều sự quan tâm nhờ khả năng tạo văn bản trông giống như được viết bởi con người. Giờ đây, có vẻ như phiên bản tiếp theo của phần mềm, GPT-2023, sắp ra mắt, với ngày phát hành ước tính vào khoảng đầu năm XNUMX.

Bất chấp tính chất rất được mong đợi của tin tức AI này, các chi tiết chính xác về GPT-4 vẫn khá sơ sài. OpenAI, công ty đứng sau GPT-4, chưa công khai nhiều thông tin về mẫu máy mới, chẳng hạn như các tính năng hoặc khả năng của nó. Tuy nhiên, những tiến bộ gần đây trong lĩnh vực AI, đặc biệt là về Xử lý ngôn ngữ tự nhiên (NLP), có thể đưa ra một số manh mối về những gì chúng ta có thể mong đợi từ GPT-4.

GPT là gì?

Trước khi đi vào chi tiết cụ thể, trước tiên, bạn nên thiết lập cơ sở về GPT là gì. GPT là viết tắt của Generative Pre-training Transformer và đề cập đến một mô hình mạng thần kinh học sâu được đào tạo dựa trên dữ liệu có sẵn từ internet để tạo ra khối lượng lớn văn bản do máy tạo. GPT-3 là thế hệ thứ ba của công nghệ này và là một trong những mẫu tạo văn bản AI tiên tiến nhất hiện có.

Hãy coi GPT-3 hoạt động giống như các trợ lý giọng nói, chẳng hạn như Siri hoặc Alexa, chỉ ở quy mô lớn hơn nhiều. Thay vì yêu cầu Alexa phát bài hát yêu thích của bạn hoặc yêu cầu Siri nhập văn bản của bạn, bạn có thể yêu cầu GPT-3 viết toàn bộ Sách điện tử chỉ trong vài phút hoặc tạo 100 ý tưởng bài đăng trên mạng xã hội trong vòng chưa đầy một phút. Tất cả những gì người dùng cần làm là đưa ra lời nhắc, chẳng hạn như “Viết cho tôi một bài viết 500 từ về tầm quan trọng của sự sáng tạo”. Miễn là lời nhắc rõ ràng và cụ thể, GPT-3 có thể viết bất cứ thứ gì bạn yêu cầu.

Kể từ khi phát hành ra công chúng, GPT-3 đã tìm thấy nhiều ứng dụng kinh doanh. Các công ty đang sử dụng nó để tóm tắt văn bản, dịch ngôn ngữ, tạo mã và tự động hóa quy mô lớn cho hầu hết mọi tác vụ viết.

Tuy nhiên, mặc dù GPT-3 chắc chắn rất ấn tượng về khả năng tạo ra văn bản dễ đọc, giống người, nhưng nó vẫn còn xa mới hoàn hảo. Vấn đề thường nảy sinh khi được yêu cầu viết các đoạn văn bản dài, đặc biệt là khi liên quan đến các chủ đề phức tạp đòi hỏi sự hiểu biết sâu sắc. Ví dụ, lời nhắc tạo mã máy tính cho một trang web có thể trả về mã chính xác nhưng chưa tối ưu, vì vậy người viết mã vẫn phải vào cuộc và cải thiện. Vấn đề này cũng tương tự với các tài liệu văn bản lớn: khối lượng văn bản càng lớn, khả năng phát sinh lỗi - đôi khi là những lỗi hài hước - cần người viết sửa càng cao.

Nói một cách đơn giản, GPT-3 không phải là sự thay thế hoàn toàn cho người viết hoặc lập trình viên và không nên coi GPT-3 là một. Thay vào đó, GPT-XNUMX nên được xem như một trợ lý viết lách, một công cụ có thể giúp mọi người tiết kiệm rất nhiều thời gian khi họ cần tạo ý tưởng bài đăng trên blog hoặc phác thảo sơ bộ cho nội dung quảng cáo hoặc thông cáo báo chí.

Nhiều thông số hơn = tốt hơn?

Một điều cần hiểu về các mô hình AI là cách chúng sử dụng các tham số để đưa ra dự đoán. Các tham số của mô hình AI xác định quá trình học tập và cung cấp cấu trúc cho đầu ra. Số lượng tham số trong mô hình AI thường được sử dụng làm thước đo hiệu suất. Càng nhiều tham số, mô hình càng mạnh mẽ, mượt mà và có thể dự đoán được, ít nhất là theo giả thuyết nhân rộng.

Ví dụ: khi GPT-1 được phát hành vào năm 2018, nó có 117 triệu tham số. GPT-2, được phát hành một năm sau đó, có 1.2 tỷ tham số, trong khi GPT-3 nâng con số lên cao hơn nữa lên 175 tỷ tham số. Theo một cuộc phỏng vấn vào tháng 2021 năm XNUMX với Có dây, Andrew Feldman, người sáng lập kiêm Giám đốc điều hành của Cerebras, một công ty hợp tác với OpenAI, đã đề cập rằng GPT-4 sẽ có khoảng 100 nghìn tỷ tham số. Điều này sẽ làm cho GPT-4 mạnh hơn gấp 100 lần so với GPT-3, một bước nhảy vọt về kích thước tham số, điều dễ hiểu là đã khiến nhiều người rất phấn khích.

Tuy nhiên, bất chấp tuyên bố hùng hồn của Feldman, có nhiều lý do chính đáng để tin rằng GPT-4 thực tế sẽ không có 100 nghìn tỷ tham số. Số lượng tham số càng lớn, chi phí đào tạo và tinh chỉnh mô hình càng cao do cần lượng lớn sức mạnh tính toán.

Thêm vào đó, có nhiều yếu tố hơn là chỉ số lượng tham số xác định hiệu quả của một mô hình. Lấy ví dụ Megatron-Turing NLG, một mô hình tạo văn bản do Nvidia và Microsoft xây dựng, có hơn 500 tỷ tham số. Mặc dù có kích thước lớn nhưng MT-NLG không bằng GPT-3 về hiệu suất. Nói tóm lại, lớn hơn không nhất thiết có nghĩa là tốt hơn.

Rất có thể GPT-4 sẽ có nhiều tham số hơn GPT-3, nhưng liệu con số đó có cao hơn gấp bội hay không vẫn còn phải chờ xem. Thay vào đó, OpenAI có thể đang theo đuổi những khả năng thú vị khác, chẳng hạn như một mô hình tinh gọn hơn, tập trung vào những cải tiến về mặt định tính trong thiết kế và căn chỉnh thuật toán. Tác động chính xác của những cải tiến này rất khó dự đoán, nhưng điều chắc chắn là một mô hình thưa thớt có thể giảm chi phí tính toán thông qua cái gọi là tính toán có điều kiện, tức là không phải tất cả các tham số trong mô hình AI sẽ luôn được kích hoạt, tương tự như cách các tế bào thần kinh trong não người hoạt động.

Vậy, GPT-4 sẽ có thể làm gì?

Cho đến khi OpenAI đưa ra tuyên bố mới hoặc thậm chí phát hành GPT-4, chúng ta vẫn phải suy đoán xem nó sẽ khác với GPT-3 như thế nào. Dù sao đi nữa, chúng ta có thể đưa ra một số dự đoán.

Mặc dù tương lai của việc phát triển deep-learning AI là đa phương thức, nhưng GPT-4 có thể sẽ chỉ ở dạng văn bản. Là con người, chúng ta sống trong một thế giới đa giác quan chứa đầy các đầu vào âm thanh, hình ảnh và văn bản khác nhau. Do đó, việc phát triển AI cuối cùng sẽ tạo ra một mô hình đa phương thức có thể kết hợp nhiều loại đầu vào là điều tất yếu.

Tuy nhiên, một mô hình đa phương thức tốt khó thiết kế hơn nhiều so với một mô hình chỉ có văn bản. Công nghệ đơn giản là chưa có và dựa trên những gì chúng tôi biết về các giới hạn về kích thước tham số, có khả năng OpenAI đang tập trung vào việc mở rộng và cải thiện mô hình chỉ có văn bản.

Cũng có khả năng GPT-4 sẽ ít phụ thuộc hơn vào lời nhắc chính xác. Một trong những hạn chế của GPT-3 là lời nhắc văn bản cần được viết cẩn thận để có được kết quả như ý muốn. Khi lời nhắc không được viết cẩn thận, bạn có thể nhận được kết quả đầu ra không trung thực, độc hại hoặc thậm chí phản ánh quan điểm cực đoan. Đây là một phần của cái được gọi là “vấn đề căn chỉnh” và nó đề cập đến những thách thức trong việc tạo ra một mô hình AI hiểu đầy đủ ý định của người dùng. Nói cách khác, mô hình AI không phù hợp với mục tiêu hoặc ý định của người dùng. Vì các mô hình AI được đào tạo bằng cách sử dụng bộ dữ liệu văn bản từ internet nên rất dễ để những thành kiến, sai lầm và định kiến ​​của con người tìm đường vào kết quả đầu ra văn bản.

Điều đó nói rằng, có những lý do chính đáng để tin rằng các nhà phát triển đang đạt được tiến bộ trong vấn đề căn chỉnh. Sự lạc quan này đến từ một số đột phá trong quá trình phát triển InstructGPT, một phiên bản nâng cao hơn của GPT-3 được đào tạo dựa trên phản hồi của con người để tuân theo các hướng dẫn và ý định của người dùng chặt chẽ hơn. Các giám khảo con người nhận thấy rằng InstructGPT ít phụ thuộc hơn nhiều so với GPT-3 trong việc nhắc nhở tốt.

Tuy nhiên, cần lưu ý rằng những thử nghiệm này chỉ được thực hiện với nhân viên của OpenAI, một nhóm khá đồng nhất, có thể không khác biệt nhiều về giới tính, tôn giáo hay quan điểm chính trị. Có thể chắc chắn rằng GPT-4 sẽ được đào tạo đa dạng hơn, giúp cải thiện sự đồng bộ cho các nhóm khác nhau, mặc dù mức độ như thế nào vẫn chưa được xác định.

GPT-4 sẽ thay thế con người?

Bất chấp lời hứa của GPT-4, không chắc nó sẽ thay thế hoàn toàn nhu cầu về người viết và lập trình viên. Vẫn còn nhiều việc phải làm trên mọi thứ, từ tối ưu hóa tham số đến đa phương thức đến căn chỉnh. Có thể phải mất nhiều năm nữa chúng ta mới thấy một trình tạo văn bản có thể đạt được sự hiểu biết thực sự của con người về sự phức tạp và các sắc thái của trải nghiệm thực tế.

Mặc dù vậy, vẫn có những lý do chính đáng để vui mừng về sự xuất hiện của GPT-4. Tối ưu hóa tham số – thay vì chỉ tăng trưởng tham số – có thể sẽ dẫn đến một mô hình AI có sức mạnh tính toán cao hơn nhiều so với mô hình tiền nhiệm của nó. Và sự liên kết được cải thiện có thể sẽ làm cho GPT-4 trở nên thân thiện hơn với người dùng.

Ngoài ra, chúng tôi vẫn chỉ mới bắt đầu phát triển và áp dụng các công cụ AI. Nhiều trường hợp sử dụng công nghệ liên tục được tìm thấy và khi mọi người tin tưởng và thoải mái hơn khi sử dụng AI tại nơi làm việc, gần như chắc chắn rằng chúng ta sẽ thấy việc áp dụng rộng rãi các công cụ AI trên hầu hết mọi lĩnh vực kinh doanh trong những năm tới.