AI sáng tạo: Ý tưởng đằng sau CHATGPT, Dall-E, Midjourney và hơn thế nữa

Thế giới nghệ thuật, giao tiếp và cách chúng ta nhìn nhận thực tế đang thay đổi nhanh chóng. Nếu nhìn lại lịch sử đổi mới của loài người, chúng ta có thể coi việc phát minh ra bánh xe hay khám phá ra điện là những bước nhảy vĩ đại. Ngày nay, một cuộc cách mạng mới đang diễn ra—bắc cầu nối giữa khả năng sáng tạo của con người và tính toán của máy móc. Đó là Trí tuệ nhân tạo.

Các mô hình phát sinh đã làm mờ ranh giới giữa con người và máy móc. Với sự ra đời của các mô hình như GPT-4, sử dụng các mô-đun máy biến áp, chúng tôi đã tiến gần hơn đến việc tạo ngôn ngữ tự nhiên và giàu ngữ cảnh. Những tiến bộ này đã thúc đẩy các ứng dụng trong việc tạo tài liệu, hệ thống đối thoại chatbot và thậm chí cả sáng tác nhạc tổng hợp.

Các quyết định Big-Tech gần đây nhấn mạnh tầm quan trọng của nó. Microsoft đã sẵn sàng ngừng ứng dụng Cortana của nó trong tháng này để ưu tiên các cải tiến AI Sáng tạo mới hơn, chẳng hạn như Bing Chat. Apple cũng đã dành một phần đáng kể Ngân sách R&D 22.6 tỷ USD đến AI sáng tạo, như CEO Tim Cook đã chỉ ra.

Kỷ nguyên mới của người mẫu: Sáng tạo Vs. phân biệt đối xử

Câu chuyện về AI Sáng tạo không chỉ về các ứng dụng của nó mà về cơ bản là về hoạt động bên trong của nó. Trong hệ sinh thái trí tuệ nhân tạo, tồn tại hai mô hình: phân biệt đối xử và tạo ra.

Các mô hình phân biệt đối xử là những gì hầu hết mọi người gặp phải trong cuộc sống hàng ngày. Các thuật toán này lấy dữ liệu đầu vào, chẳng hạn như văn bản hoặc hình ảnh và ghép nối dữ liệu đó với đầu ra mục tiêu, chẳng hạn như bản dịch từ hoặc chẩn đoán y tế. Chúng là về lập bản đồ và dự đoán.

Mặt khác, các mô hình sáng tạo là những người sáng tạo. Họ không chỉ giải thích hoặc dự đoán; chúng tạo ra các đầu ra mới, phức tạp từ các vectơ số thường không liên quan đến các giá trị trong thế giới thực.

Các công nghệ đằng sau các mô hình sáng tạo

Các mô hình tổng quát có được sự tồn tại của chúng nhờ các mạng lưới thần kinh sâu, các cấu trúc phức tạp được thiết kế để bắt chước chức năng của bộ não con người. Bằng cách nắm bắt và xử lý các biến thể nhiều mặt trong dữ liệu, các mạng này đóng vai trò là xương sống của nhiều mô hình tổng quát.

Làm thế nào để những mô hình thế hệ này đi vào cuộc sống? Thông thường, chúng được xây dựng với các mạng thần kinh sâu, được tối ưu hóa để nắm bắt các biến thể nhiều mặt trong dữ liệu. Một ví dụ điển hình là Mạng đối thủ sáng tạo (GAN), trong đó hai mạng thần kinh, bộ tạo và bộ phân biệt, cạnh tranh và học hỏi lẫn nhau trong mối quan hệ giáo viên-học sinh độc đáo. Từ vẽ tranh đến chuyển đổi phong cách, từ sáng tác nhạc đến chơi trò chơi, những mô hình này đang phát triển và mở rộng theo những cách mà trước đây không thể tưởng tượng được.

Điều này không dừng lại với GAN. Bộ mã tự động biến thể (VAEs), là một người chơi quan trọng khác trong lĩnh vực mô hình chung. VAE nổi bật với khả năng tạo ra hình ảnh chân thực từ những con số dường như ngẫu nhiên. Làm sao? Việc xử lý những con số này thông qua một vectơ tiềm ẩn sẽ tạo ra nghệ thuật phản ánh sự phức tạp trong thẩm mỹ của con người.

Các loại AI sáng tạo: Văn bản thành Văn bản, Văn bản thành Hình ảnh

Máy biến áp & LLM

Giấy "Chú ý là tất cả những gì bạn cần” của Google Brain đã đánh dấu sự thay đổi trong cách chúng ta nghĩ về mô hình hóa văn bản. Thay vì các kiến ​​trúc phức tạp và tuần tự như Mạng thần kinh tái phát (RNN) hoặc Mạng thần kinh chuyển đổi (CNN), mô hình Transformer đã đưa ra khái niệm về sự chú ý, về cơ bản có nghĩa là tập trung vào các phần khác nhau của văn bản đầu vào tùy thuộc vào ngữ cảnh. Một trong những lợi ích chính của việc này là sự dễ dàng song song hóa. Không giống như RNN xử lý văn bản một cách tuần tự, khiến chúng khó mở rộng quy mô hơn, Transformers có thể xử lý đồng thời các phần của văn bản, giúp việc đào tạo nhanh hơn và hiệu quả hơn trên các tập dữ liệu lớn.

Trong một văn bản dài, không phải từ hay câu nào bạn đọc đều có tầm quan trọng như nhau. Một số phần đòi hỏi sự chú ý nhiều hơn dựa trên bối cảnh. Khả năng chuyển trọng tâm của chúng ta dựa trên mức độ liên quan là điều mà cơ chế chú ý bắt chước.

Để hiểu điều này, hãy nghĩ đến câu: “Unit AI Publish AI and Robotics news.” Bây giờ, dự đoán từ tiếp theo đòi hỏi sự hiểu biết về những gì quan trọng nhất trong ngữ cảnh trước đó. Thuật ngữ 'Người máy' có thể gợi ý từ tiếp theo có thể liên quan đến một tiến bộ hoặc sự kiện cụ thể trong lĩnh vực người máy, trong khi 'Xuất bản' có thể cho biết ngữ cảnh sau đây có thể đi sâu vào một bài báo hoặc ấn phẩm gần đây.

Cơ chế chú ý trong Transformers được thiết kế để đạt được sự tập trung có chọn lọc này. Họ đánh giá tầm quan trọng của các phần khác nhau của văn bản đầu vào và quyết định nơi “xem xét” khi tạo phản hồi. Đây là sự khởi đầu từ các kiến ​​trúc cũ hơn như RNN đã cố gắng nhồi nhét bản chất của tất cả văn bản đầu vào vào một 'trạng thái' hoặc 'bộ nhớ' duy nhất.

Hoạt động của sự chú ý có thể được ví như một hệ thống truy xuất khóa-giá trị. Khi cố gắng dự đoán từ tiếp theo trong câu, mỗi từ trước đó cung cấp một 'chìa khóa' gợi ý mức độ liên quan tiềm năng của nó và dựa trên mức độ phù hợp của các khóa này với ngữ cảnh (hoặc truy vấn) hiện tại, chúng đóng góp một 'giá trị' hoặc trọng số cho sự dự đoán.

Các mô hình học sâu AI tiên tiến này đã tích hợp liền mạch vào nhiều ứng dụng khác nhau, từ cải tiến công cụ tìm kiếm của Google với BERT đến Copilot của GitHub, khai thác khả năng của Mô hình ngôn ngữ lớn (LLM) để chuyển đổi các đoạn mã đơn giản thành mã nguồn đầy đủ chức năng.

Các Mô hình Ngôn ngữ Lớn (LLM) như GPT-4, Bard và LLaMA, là các cấu trúc khổng lồ được thiết kế để giải mã và tạo ngôn ngữ, mã của con người, v.v. Kích thước to lớn của chúng, từ hàng tỷ đến hàng nghìn tỷ tham số, là một trong những đặc điểm xác định. Những LLM này được cung cấp một lượng lớn dữ liệu văn bản, cho phép họ nắm bắt được những điều phức tạp của ngôn ngữ con người. Một đặc điểm nổi bật của những người mẫu này là khả năng của họ đối với “bắn ít" học hỏi. Không giống như các mô hình thông thường cần một lượng lớn dữ liệu đào tạo cụ thể, LLM có thể khái quát hóa từ một số ví dụ rất hạn chế (hoặc “các cảnh quay”)

Tình trạng các mô hình ngôn ngữ lớn (LLM) kể từ sau giữa năm 2023

LLM được sử dụng như thế nào?

LLM có thể được sử dụng theo nhiều cách, bao gồm:

1. Sử dụng trực tiếp: Chỉ cần sử dụng LLM được đào tạo trước để tạo hoặc xử lý văn bản. Chẳng hạn, sử dụng GPT-4 để viết một bài đăng trên blog mà không cần tinh chỉnh thêm.
2. Tinh chỉnh: Điều chỉnh LLM được đào tạo trước cho một nhiệm vụ cụ thể, một phương pháp được gọi là học chuyển giao. Một ví dụ là tùy chỉnh T5 để tạo bản tóm tắt cho các tài liệu trong một ngành cụ thể.
3. Truy xuất thông tin: Sử dụng LLM, chẳng hạn như BERT hoặc GPT, như một phần của kiến ​​trúc lớn hơn để phát triển các hệ thống có thể tìm nạp và phân loại thông tin.

Chú ý nhiều đầu: Tại sao lại có một đầu khi bạn có thể có nhiều đầu?

Tuy nhiên, việc dựa vào một cơ chế chú ý duy nhất có thể bị hạn chế. Các từ hoặc trình tự khác nhau trong một văn bản có thể có nhiều kiểu liên quan hoặc liên kết khác nhau. Đây là lúc cần chú ý nhiều đầu. Thay vì một tập hợp các trọng số chú ý, chú ý nhiều đầu sử dụng nhiều tập hợp, cho phép mô hình nắm bắt nhiều mối quan hệ phong phú hơn trong văn bản đầu vào. Mỗi "đầu" chú ý có thể tập trung vào các phần hoặc khía cạnh khác nhau của thông tin đầu vào và kiến ​​thức kết hợp của chúng được sử dụng cho dự đoán cuối cùng.

ChatGPT: Công cụ AI phổ biến nhất

Kể từ khi GPT ra đời vào năm 2018, mô hình này về cơ bản được xây dựng trên nền tảng gồm 12 lớp, 12 tiêu đề chú ý và 120 triệu tham số, chủ yếu được đào tạo trên tập dữ liệu có tên BookCorpus. Đây là một khởi đầu ấn tượng, mang đến một cái nhìn thoáng qua về tương lai của các mô hình ngôn ngữ.

GPT-2, được ra mắt vào năm 2019, tự hào có số lượng lớp và đầu chú ý tăng gấp bốn lần. Đáng chú ý, số lượng tham số của nó đã tăng vọt lên 1.5 tỷ. Phiên bản nâng cao này được đào tạo từ WebText, một bộ dữ liệu được bổ sung thêm 40 GB văn bản từ các liên kết Reddit khác nhau.

GPT-3, ra mắt vào tháng 2020 năm 96 có 96 lớp, 175 đầu chú ý và số lượng tham số khổng lồ là 3 tỷ. Điều làm nên sự khác biệt của GPT-570 là dữ liệu đào tạo đa dạng của nó, bao gồm CommonCrawl, WebText, Wikipedia tiếng Anh, kho sách và các nguồn khác, tổng cộng là XNUMX GB.

Sự phức tạp trong hoạt động của ChatGPT vẫn là một bí mật được bảo vệ chặt chẽ. Tuy nhiên, một quá trình được gọi là "học tăng cường từ phản hồi của con người" (RLHF) được coi là mấu chốt. Bắt nguồn từ một dự án ChatGPT trước đó, kỹ thuật này là công cụ giúp cải thiện mô hình GPT-3.5 để phù hợp hơn với các hướng dẫn bằng văn bản.

Quá trình đào tạo của ChatGPT bao gồm cách tiếp cận ba tầng:

1. Tinh chỉnh có giám sát: Liên quan đến việc quản lý các đầu vào và đầu ra đàm thoại do con người viết để tinh chỉnh mô hình GPT-3.5 cơ bản.
2. Mô hình phần thưởng: Con người xếp hạng các kết quả đầu ra của mô hình khác nhau dựa trên chất lượng, giúp đào tạo một mô hình phần thưởng cho điểm từng kết quả đầu ra khi xem xét ngữ cảnh của cuộc trò chuyện.
3. Học tăng cường: Bối cảnh đàm thoại đóng vai trò là phông nền nơi mô hình cơ bản đề xuất phản hồi. Phản hồi này được đánh giá bằng mô hình phần thưởng và quy trình được tối ưu hóa bằng thuật toán có tên là tối ưu hóa chính sách gần nhất (PPO).

Đối với những người mới bắt đầu sử dụng ChatGPT, có thể tìm thấy hướng dẫn bắt đầu toàn diện tại đây. Nếu bạn đang muốn tìm hiểu sâu hơn về kỹ thuật nhắc nhở với ChatGPT, thì chúng tôi cũng có một hướng dẫn nâng cao làm sáng tỏ các kỹ thuật nhắc nhở mới nhất và hiện đại nhất, có sẵn tại 'ChatGPT & Advanced Prompt Engineering: Thúc đẩy sự phát triển của AI'.

Mô hình khuếch tán & đa phương thức

Trong khi các mô hình như VAE và GAN ​​tạo ra đầu ra của chúng thông qua một lần truyền, do đó bị khóa vào bất kỳ thứ gì chúng tạo ra, các mô hình khuếch tán đã đưa ra khái niệm về 'sàng lọc lặp đi lặp lại'. Thông qua phương pháp này, họ quay lại, tinh chỉnh các lỗi từ các bước trước đó và dần dần tạo ra kết quả bóng bẩy hơn.

Trung tâm của các mô hình khuếch tán là nghệ thuật của “tham nhũng” và “sàng lọc”. Trong giai đoạn đào tạo của họ, một hình ảnh điển hình dần dần bị hỏng bằng cách thêm các mức nhiễu khác nhau. Phiên bản ồn ào này sau đó được cung cấp cho mô hình, phiên bản này sẽ cố gắng 'khử nhiễu' hoặc 'khử hỏng' nó. Thông qua nhiều vòng này, mô hình trở nên thành thạo trong việc khôi phục, hiểu được cả quang sai nhỏ và quan trọng.

Quá trình tạo hình ảnh mới sau khi đào tạo rất hấp dẫn. Bắt đầu với một đầu vào hoàn toàn ngẫu nhiên, nó liên tục được tinh chỉnh bằng cách sử dụng các dự đoán của mô hình. Mục đích là để đạt được một hình ảnh nguyên sơ với số bước tối thiểu. Việc kiểm soát mức độ tham nhũng được thực hiện thông qua “lịch trình tiếng ồn”, một cơ chế chi phối mức độ tiếng ồn được áp dụng ở các giai đoạn khác nhau. Một bộ lập lịch, như đã thấy trong các thư viện như “máy khuếch tán“, chỉ ra bản chất của những màn trình diễn ồn ào này dựa trên các thuật toán đã được thiết lập.

Một xương sống kiến ​​trúc cần thiết cho nhiều mô hình khuếch tán là UNet—một mạng lưới thần kinh tích chập được thiết kế riêng cho các nhiệm vụ yêu cầu đầu ra phản ánh kích thước không gian của đầu vào. Đó là sự kết hợp giữa các lớp lấy mẫu xuống và lấy mẫu lên, được kết nối phức tạp để giữ lại dữ liệu có độ phân giải cao, đóng vai trò then chốt cho các kết quả đầu ra liên quan đến hình ảnh.

Tìm hiểu sâu hơn về lĩnh vực mô hình tổng quát, OpenAI's DALL-E2 nổi lên như một ví dụ điển hình về sự kết hợp giữa khả năng AI dạng văn bản và hình ảnh. Nó sử dụng một cấu trúc ba tầng:

DALL-E 2 giới thiệu kiến ​​trúc ba lớp:

1. Bộ mã hóa văn bản: Nó biến lời nhắc văn bản thành một khái niệm nhúng trong một không gian tiềm ẩn. Mô hình này không bắt đầu từ con số không. Nó dựa trên đào tạo trước Ngôn ngữ–Hình ảnh tương phản của OpenAI (CLIP) tập dữ liệu làm nền tảng của nó. CLIP đóng vai trò là cầu nối giữa dữ liệu hình ảnh và văn bản bằng cách học các khái niệm trực quan bằng ngôn ngữ tự nhiên. Thông qua một cơ chế được gọi là học tương phản, nó xác định và khớp các hình ảnh với các mô tả văn bản tương ứng của chúng.
2. Ưu tiên: Việc nhúng văn bản bắt nguồn từ bộ mã hóa sau đó được chuyển đổi thành nhúng hình ảnh. DALL-E 2 đã thử nghiệm cả hai phương pháp tự hồi quy và khuếch tán cho nhiệm vụ này, với phương pháp sau cho kết quả vượt trội. Các mô hình tự hồi quy, như đã thấy trong Transformers và PixelCNN, tạo ra các đầu ra theo trình tự. Mặt khác, các mô hình khuếch tán, giống như mô hình được sử dụng trong DALL-E 2, chuyển đổi nhiễu ngẫu nhiên thành các nhúng hình ảnh được dự đoán với sự trợ giúp của các nhúng văn bản.
3. Bộ giải mã: Phần cao trào của quy trình, phần này tạo ra kết quả trực quan cuối cùng dựa trên lời nhắc văn bản và nhúng hình ảnh từ giai đoạn trước. Bộ giải mã của DALL.E 2 có kiến ​​trúc của nó dựa trên một mô hình khác, TRƯỢT, cũng có thể tạo ra hình ảnh thực tế từ các tín hiệu văn bản.

Người dùng Python quan tâm đến chuỗi lang nên xem hướng dẫn chi tiết của chúng tôi bao gồm mọi thứ từ nguyên tắc cơ bản đến kỹ thuật nâng cao.

Các ứng dụng của AI sáng tạo

Tên miền văn bản

Bắt đầu với văn bản, AI sáng tạo đã được thay đổi cơ bản bởi các chatbot như ChatGPT. Dựa chủ yếu vào Xử lý ngôn ngữ tự nhiên (NLP) và các mô hình ngôn ngữ lớn (LLM), các thực thể này được trao quyền để thực hiện các nhiệm vụ từ tạo mã và dịch ngôn ngữ đến tóm tắt và phân tích cảm tính. Ví dụ: ChatGPT đã được áp dụng rộng rãi và trở thành một phần thiết yếu đối với hàng triệu người. Điều này còn được tăng cường hơn nữa nhờ các nền tảng AI đàm thoại, dựa trên LLM như GPT-4, Lòng bàn tayvà HOA, dễ dàng tạo văn bản, hỗ trợ lập trình và thậm chí đưa ra lý luận toán học.

Từ góc độ thương mại, những mô hình này đang trở nên vô giá. Các doanh nghiệp sử dụng chúng cho vô số hoạt động, bao gồm quản lý rủi ro, tối ưu hóa hàng tồn kho và dự báo nhu cầu. Một số ví dụ đáng chú ý bao gồm Bing AI, BARD của Google và API ChatGPT.

Nghệ thuật

Thế giới hình ảnh đã chứng kiến ​​những sự biến đổi mạnh mẽ với Trí tuệ nhân tạo Sáng tạo, đặc biệt kể từ khi DALL-E 2 được giới thiệu vào năm 2022. Công nghệ này, có thể tạo ra hình ảnh từ lời nhắc bằng văn bản, có cả ý nghĩa nghệ thuật và chuyên nghiệp. Chẳng hạn, midjourney đã tận dụng công nghệ này để tạo ra những hình ảnh chân thực ấn tượng. Bài đăng gần đây làm sáng tỏ giữa hành trình trong một hướng dẫn chi tiết, làm sáng tỏ cả nền tảng và những điều phức tạp về kỹ thuật nhanh chóng của nó. Ngoài ra, các nền tảng như Alpaca AI và Photoroom AI sử dụng Generative AI cho các chức năng chỉnh sửa hình ảnh nâng cao như xóa nền, xóa đối tượng và thậm chí khôi phục khuôn mặt.

Sản xuất Video

Sản xuất video, mặc dù vẫn còn ở giai đoạn sơ khai trong lĩnh vực AI sáng tạo, đang cho thấy những tiến bộ đầy hứa hẹn. Các nền tảng như Imagen Video, Meta Make A Video và Runway Gen-2 đang vượt qua ranh giới của những gì có thể, ngay cả khi các đầu ra thực sự thực tế vẫn còn ở phía trước. Các mô hình này cung cấp tiện ích đáng kể để tạo video kỹ thuật số của con người, với các ứng dụng như Synthesia và SuperCreator dẫn đầu về phí. Đáng chú ý, Tavus AI cung cấp một đề xuất bán hàng độc đáo bằng cách cá nhân hóa video cho từng thành viên khán giả, một lợi ích cho các doanh nghiệp.

Tạo mã

Viết mã, một khía cạnh không thể thiếu trong thế giới kỹ thuật số của chúng ta, vẫn chưa bị ảnh hưởng bởi AI sáng tạo. Mặc dù ChatGPT là một công cụ được ưa chuộng, một số ứng dụng AI khác đã được phát triển cho mục đích viết mã. Các nền tảng này, chẳng hạn như GitHub Copilot, Alphacode và CodeComplete, đóng vai trò là trợ lý mã hóa và thậm chí có thể tạo mã từ lời nhắc văn bản. Điều hấp dẫn là khả năng thích ứng của những công cụ này. Codex, động lực đằng sau GitHub Copilot, có thể được điều chỉnh theo phong cách viết mã của từng cá nhân, nhấn mạnh tiềm năng cá nhân hóa của Generative AI.

Với việc các công cụ như ChatGPT ngày càng trở nên dễ tiếp cận hơn, giờ là thời điểm hoàn hảo để kiểm tra và thử nghiệm. Cho dù bạn là nghệ sĩ, lập trình viên hay người đam mê công nghệ, thì lĩnh vực Trí tuệ nhân tạo Sáng tạo luôn có rất nhiều khả năng đang chờ bạn khám phá. Cuộc cách mạng không ở phía trước; nó ở đây và bây giờ. Vì vậy, Lặn vào!