ChatGPT và Kỹ thuật Thiết kế Câu lệnh Tiên tiến: Đẩy mạnh Sự tiến bộ của Trí tuệ Nhân tạo

OpenAI đã đóng vai trò quan trọng trong việc phát triển các công cụ cách mạng như OpenAI Gym, được thiết kế để đào tạo các thuật toán tăng cường, và các mô hình GPT-n. Điểm sáng cũng đang tập trung vào DALL-E, một mô hình AI tạo ra hình ảnh từ đầu vào văn bản. Một mô hình như vậy đã thu hút được sự chú ý đáng kể là ChatGPT của OpenAI, một ví dụ điển hình trong lĩnh vực Mô hình Ngôn ngữ Lớn.

GPT-4: Thiết kế Câu lệnh

ChatGPT đã thay đổi cảnh quan trò chuyện, cung cấp các phản hồi giống con người cho đầu vào của người dùng và mở rộng các ứng dụng của nó trên các lĩnh vực – từ phát triển và thử nghiệm phần mềm đến giao tiếp kinh doanh, và thậm chí cả việc tạo ra thơ ca.

Trong tay của các doanh nghiệp và cá nhân, GPT-4, ví dụ, có thể đóng vai trò là một nguồn kiến thức vô tận, thành thạo trong các môn học từ Toán học và Sinh học đến Nghiên cứu Pháp lý. Những mô hình AI tinh vi và dễ tiếp cận như vậy đang sẵn sàng để định nghĩa lại tương lai của công việc, học tập và sáng tạo.

Các mô hình tạo ra như GPT-4 có thể tạo ra dữ liệu mới dựa trên đầu vào hiện có. Đặc điểm phân biệt này cho phép chúng thực hiện các nhiệm vụ đa dạng, bao gồm tạo văn bản, hình ảnh, âm nhạc và video.

Trong bối cảnh ChatGPT và các mô hình OpenAI, một câu lệnh là đầu vào mà người dùng cung cấp cho các mô hình, thường dưới dạng văn bản. Các câu lệnh đóng vai trò là phương tiện chính để kiểm soát đầu ra được tạo ra bởi các mô hình này, khiến chúng trở nên quan trọng đối với các cuộc trò chuyện thành công và có ý nghĩa.

Tác động của Chất lượng Câu lệnh

Sử dụng các câu lệnh được định nghĩa rõ ràng là chìa khóa để tham gia vào các cuộc trò chuyện hữu ích và có ý nghĩa với các hệ thống AI. Các câu lệnh không được định nghĩa rõ ràng có thể dẫn đến đầu ra không hữu ích cho người dùng và thậm chí có thể dẫn đến nội dung gây hiểu lầm.

Để minh họa tác động của chất lượng câu lệnh, hãy so sánh hai câu lệnh khác nhau được đưa ra ChatGPT. Câu lệnh đầu tiên, không được định nghĩa rõ ràng và giả định kiến thức trước, tạo ra một phản hồi có thể không hữu ích cho người dùng. Mặt khác, câu lệnh thứ hai cung cấp thêm ngữ cảnh và ví dụ, đảm bảo một phản hồi có liên quan và dễ hiểu hơn.

Câu lệnh 1: “Hãy cho tôi biết về Mạng nơ-ron tích chập.”

Phản hồi 1: “Mạng nơ-ron tích chập (CNN) là mạng nơ-ron đa lớp bao gồm các lớp hoàn toàn kết nối và các lớp tích chập. Chúng thường được sử dụng trong các nhiệm vụ nhận dạng hình ảnh. Quá trình này liên quan đến việc áp dụng các bộ lọc vào hình ảnh đầu vào và giảm kích thước bằng cách sử dụng các lớp tích chập.”

Câu lệnh 2: “Tôi muốn tìm hiểu về Mạng nơ-ron tích chập, nhưng tôi không có kiến thức trước về Mạng nơ-ron nhân tạo. Hãy cung cấp cho tôi một giải thích dễ hiểu cho người mới bắt đầu và một ví dụ về cách CNN được sử dụng trong nhận dạng hình ảnh.”

Phản hồi 2: “Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron chủ yếu được sử dụng cho các nhiệm vụ nhận dạng hình ảnh. Không giống như các mạng nơ-ron khác, chúng tận dụng các lớp tích chập và các lớp giảm kích thước để xử lý hình ảnh. Hãy tưởng tượng bạn có một hình ảnh của một con mèo. CNN có thể xác định các tính năng khác nhau trong hình ảnh, chẳng hạn như whiskers, tai và đuôi, bằng cách áp dụng các bộ lọc và giảm kích thước hình ảnh bằng cách sử dụng các lớp giảm kích thước. Quá trình này làm cho CNN trở nên rất hiệu quả trong việc nhận dạng các đối tượng trong hình ảnh.”

Bằng cách so sánh hai phản hồi, rõ ràng rằng một câu lệnh được định nghĩa rõ ràng dẫn đến một phản hồi có liên quan và hữu ích hơn. Thiết kế và kỹ thuật câu lệnh đang trở thành các lĩnh vực ngày càng quan trọng nhằm tối ưu hóa chất lượng đầu ra của các mô hình AI như ChatGPT.

Trong các phần tiếp theo của bài viết này, chúng tôi sẽ đi sâu vào lĩnh vực các phương pháp tiên tiến nhằm tinh chỉnh Mô hình Ngôn ngữ Lớn (LLM), chẳng hạn như kỹ thuật thiết kế câu lệnh và chiến thuật. Những phương pháp này bao gồm học ít lần, ReAct, chuỗi suy nghĩ, RAG và nhiều hơn nữa.

Kỹ thuật Thiết kế Câu lệnh Tiên tiến

Trước khi chúng tôi tiếp tục, điều quan trọng là phải hiểu một vấn đề chính với LLM, được gọi là ‘ảo giác’. Trong bối cảnh LLM, ‘ảo giác’ biểu thị xu hướng của các mô hình này tạo ra đầu ra có thể看似 hợp lý nhưng không dựa trên thực tế hoặc ngữ cảnh đầu vào.

Vấn đề này đã được nhấn mạnh rõ ràng trong một vụ án tòa án gần đây, nơi một luật sư biện hộ đã sử dụng ChatGPT cho nghiên cứu pháp lý. Công cụ AI, khi gặp phải vấn đề ảo giác, đã trích dẫn các vụ án pháp lý không tồn tại. Sự cố này đã có những hậu quả đáng kể, gây ra sự混乱 và làm suy yếu uy tín trong quá trình tố tụng. Sự cố này служi như một lời nhắc nhở mạnh mẽ về sự cần thiết cấp bách phải giải quyết vấn đề ‘ảo giác’ trong các hệ thống AI.

Khám phá của chúng tôi về các kỹ thuật thiết kế câu lệnh nhằm cải thiện các khía cạnh của LLM. Bằng cách tăng cường hiệu quả và an toàn của chúng, chúng tôi mở đường cho các ứng dụng sáng tạo như trích xuất thông tin. Hơn nữa, nó mở ra cánh cửa để tích hợp liền mạch LLM với các công cụ và nguồn dữ liệu bên ngoài, mở rộng phạm vi của các ứng dụng tiềm năng.

Học ít lần và Học không lần: Tối ưu hóa với Ví dụ

Mô hình GPT-3 (Generative Pretrained Transformers) đã đánh dấu một bước ngoặt quan trọng trong sự phát triển của các mô hình AI tạo ra, khi nó giới thiệu khái niệm ‘học ít lần‘. Phương pháp này là một bước đột phá do khả năng hoạt động hiệu quả mà không cần tinh chỉnh toàn diện. Khung khổ GPT-3 được thảo luận trong bài báo “Mô hình ngôn ngữ là người học ít lần” nơi các tác giả chứng minh cách mô hình này hoạt động hiệu quả trên nhiều trường hợp sử dụng mà không cần dữ liệu hoặc mã tùy chỉnh.

Không giống như tinh chỉnh, đòi hỏi nỗ lực liên tục để giải quyết các trường hợp sử dụng khác nhau, các mô hình học ít lần thể hiện sự thích nghi dễ dàng hơn với một loạt các ứng dụng. Mặc dù tinh chỉnh có thể cung cấp các giải pháp mạnh mẽ trong một số trường hợp, nó có thể tốn kém khi mở rộng quy mô, khiến việc sử dụng các mô hình học ít lần trở thành một phương pháp thực tế hơn, đặc biệt khi tích hợp với thiết kế câu lệnh.

Hãy tưởng tượng bạn đang cố gắng dịch tiếng Anh sang tiếng Pháp. Trong học ít lần, bạn sẽ cung cấp cho GPT-3 một số ví dụ về dịch thuật như “sea otter -> loutre de mer”. GPT-3, với khả năng tiên tiến của nó, sau đó có thể tiếp tục cung cấp các bản dịch chính xác. Trong học không lần, bạn sẽ không cung cấp bất kỳ ví dụ nào và GPT-3 vẫn có thể dịch tiếng Anh sang tiếng Pháp một cách hiệu quả.

Thuật ngữ ‘học ít lần’ đến từ ý tưởng rằng mô hình được cung cấp một số lượng hạn chế các ví dụ để ‘học’. Ở đây, ‘học’ không liên quan đến việc cập nhật các tham số hoặc trọng số của mô hình, mà ảnh hưởng đến hiệu suất của mô hình.

Học ít lần như được trình bày trong Giấy tờ GPT-3

Học không lần đưa khái niệm này đi xa hơn. Trong học không lần, không có ví dụ nào về việc hoàn thành nhiệm vụ được cung cấp cho mô hình. Mô hình được kỳ vọng sẽ hoạt động tốt dựa trên đào tạo ban đầu của nó, khiến phương pháp này lý tưởng cho các kịch bản trả lời câu hỏi miền mở như ChatGPT.

Trong nhiều trường hợp, một mô hình thành thạo trong học không lần có thể hoạt động tốt khi được cung cấp một số ví dụ hoặc thậm chí chỉ một ví dụ. Khả năng này để chuyển đổi giữa các kịch bản học không lần, một lần và ít lần nhấn mạnh sự thích nghi của các mô hình lớn, tăng cường các ứng dụng tiềm năng của chúng trên nhiều lĩnh vực.

Phương pháp học không lần đang trở nên phổ biến hơn. Những phương pháp này được đặc trưng bởi khả năng nhận biết các đối tượng không được nhìn thấy trong quá trình đào tạo. Dưới đây là một ví dụ thực tế về Câu lệnh ít lần:

"Dịch các cụm từ tiếng Anh sau sang tiếng Pháp:

'sea otter' dịch sang 'loutre de mer'
'sky' dịch sang 'ciel'
'Cụm từ "cloud" dịch sang tiếng Pháp là gì?'"

Bằng cách cung cấp mô hình với một số ví dụ và sau đó đặt câu hỏi, chúng ta có thể hướng dẫn mô hình để tạo ra đầu ra mong muốn. Trong trường hợp này, GPT-3 có khả năng dịch ‘cloud’ sang ‘nuage’ trong tiếng Pháp một cách chính xác.

Chúng tôi sẽ đi sâu vào các sắc thái khác nhau của kỹ thuật thiết kế câu lệnh và vai trò thiết yếu của nó trong việc tối ưu hóa hiệu suất của mô hình trong quá trình suy luận. Chúng tôi cũng sẽ xem xét cách nó có thể được sử dụng để tạo ra các giải pháp tiết kiệm chi phí và có thể mở rộng trên nhiều trường hợp sử dụng.

Khi chúng tôi tiếp tục khám phá sự phức tạp của các kỹ thuật thiết kế câu lệnh trong mô hình GPT, điều quan trọng là phải nhấn mạnh bài viết trước của chúng tôi ‘Hướng dẫn Cơ bản về Thiết kế Câu lệnh trong ChatGPT‘. Hướng dẫn này cung cấp thông tin về các chiến lược để hướng dẫn các mô hình AI một cách hiệu quả trên nhiều trường hợp sử dụng.

Trong các cuộc thảo luận trước, chúng tôi đã đi sâu vào các phương pháp thiết kế câu lệnh cơ bản cho các mô hình ngôn ngữ lớn (LLM) như học không lần và học ít lần, cũng như việc đặt câu lệnh. Việc掌握 những kỹ thuật này là rất quan trọng để đối mặt với các thách thức phức tạp hơn của thiết kế câu lệnh mà chúng tôi sẽ khám phá ở đây.

Học ít lần có thể bị giới hạn do cửa sổ ngữ cảnh hạn chế của hầu hết các LLM. Hơn nữa, nếu không có các biện pháp phòng ngừa thích hợp, các LLM có thể bị đánh lừa để tạo ra đầu ra có thể gây hại. Ngoài ra, nhiều mô hình gặp khó khăn với các nhiệm vụ suy luận hoặc thực hiện các hướng dẫn đa bước.

Đưa ra thách thức này, việc khó khăn nằm ở việc tận dụng các LLM để giải quyết các nhiệm vụ phức tạp. Một giải pháp rõ ràng có thể là phát triển các LLM tiên tiến hơn hoặc tinh chỉnh các mô hình hiện có, nhưng điều đó có thể đòi hỏi nỗ lực đáng kể. Vì vậy, câu hỏi đặt ra là: làm thế nào chúng ta có thể tối ưu hóa các mô hình hiện tại để cải thiện khả năng giải quyết vấn đề?

Cũng hấp dẫn không kém là việc khám phá cách kỹ thuật này giao tiếp với các ứng dụng sáng tạo trong ‘Thành thạo Nghệ thuật AI: Hướng dẫn Ngắn gọn về Midjourney và Thiết kế Câu lệnh‘ của Unite AI, mô tả cách sự kết hợp giữa nghệ thuật và AI có thể dẫn đến nghệ thuật tuyệt vời.

Đặt câu lệnh theo chuỗi suy nghĩ

Đặt câu lệnh theo chuỗi suy nghĩ tận dụng các thuộc tính tự hồi quy vốn có của các mô hình ngôn ngữ lớn (LLM), những mô hình này giỏi trong việc dự đoán từ tiếp theo trong một chuỗi cho trước. Bằng cách yêu cầu mô hình giải thích quá trình suy nghĩ của nó, nó tạo ra một quá trình suy nghĩ và tạo ra ý tưởng một cách có hệ thống và chi tiết hơn, thường phù hợp với thông tin chính xác. Sự sắp xếp này bắt nguồn từ xu hướng của mô hình trong việc xử lý và cung cấp thông tin một cách có trật tự và suy nghĩ, tương tự như một chuyên gia con người hướng dẫn người nghe qua một khái niệm phức tạp. Một câu lệnh đơn giản như “hãy hướng dẫn tôi từng bước…” thường đủ để kích hoạt đầu ra chi tiết và có hệ thống hơn.

Đặt câu lệnh theo chuỗi suy nghĩ không lần

Trong khi đặt câu lệnh theo chuỗi suy nghĩ thông thường đòi hỏi phải đào tạo trước với các ví dụ, một lĩnh vực mới nổi là đặt câu lệnh theo chuỗi suy nghĩ không lần. Phương pháp này, được giới thiệu bởi Kojima et al. (2022), một cách sáng tạo bổ sung câu “Hãy suy nghĩ từng bước” vào câu lệnh ban đầu.

Hãy tạo một câu lệnh tiên tiến nơi ChatGPT được yêu cầu tóm tắt các điểm chính từ các bài nghiên cứu về AI và Xử lý Ngôn ngữ Tự nhiên.

Trong ví dụ này, chúng tôi sẽ sử dụng khả năng của mô hình để hiểu và tóm tắt thông tin phức tạp từ các văn bản học thuật. Sử dụng phương pháp học ít lần, hãy dạy ChatGPT tóm tắt các điểm chính từ các bài nghiên cứu về AI và Xử lý Ngôn ngữ Tự nhiên:

1. Tiêu đề Bài viết: "Chú ý là tất cả những gì bạn cần"
Điểm chính: Giới thiệu mô hình biến đổi, nhấn mạnh tầm quan trọng của các cơ chế chú ý so với các lớp hồi quy cho các nhiệm vụ chuyển đổi chuỗi.

2. Tiêu đề Bài viết: "BERT: Đào tạo trước các Biến đổi sâu hai chiều cho Sự hiểu biết Ngôn ngữ"
Điểm chính: Giới thiệu BERT,展示 hiệu quả của việc đào tạo trước các mô hình sâu hai chiều, đạt được kết quả tốt nhất trong nhiều nhiệm vụ Xử lý Ngôn ngữ Tự nhiên.

Giờ đây, với ngữ cảnh của những ví dụ này, hãy tóm tắt các điểm chính từ bài viết sau:

Tiêu đề Bài viết: "Thiết kế Câu lệnh trong Mô hình Ngôn ngữ Lớn: Một cuộc Kiểm tra"

Câu lệnh này không chỉ duy trì một chuỗi suy nghĩ rõ ràng mà còn tận dụng phương pháp học ít lần để hướng dẫn mô hình. Nó gắn liền với các từ khóa của chúng tôi bằng cách tập trung vào các lĩnh vực AI và Xử lý Ngôn ngữ Tự nhiên, đặc biệt là yêu cầu ChatGPT thực hiện một nhiệm vụ phức tạp liên quan đến thiết kế câu lệnh: tóm tắt các bài viết nghiên cứu.

Câu lệnh ReAct

ReAct, hoặc “Lý do và Hành động”, được giới thiệu bởi Google (GOOGL ) trong bài báo “ReAct: Tương tác Lý do và Hành động trong Mô hình Ngôn ngữ“, và đã cách mạng hóa cách các mô hình ngôn ngữ tương tác với một nhiệm vụ, yêu cầu mô hình tạo ra cả dấu vết lý do và hành động cụ thể cho nhiệm vụ.

Hãy tưởng tượng một đầu bếp trong nhà bếp: họ không chỉ thực hiện một loạt các hành động (cắt rau, đun nước, khuấy nguyên liệu) mà còn tham gia vào lý do ngôn ngữ hoặc nói chuyện nội tâm (“giờ rau đã được cắt, tôi nên đặt nồi lên bếp”). Sự đối thoại tinh thần này giúp trong việc chiến lược hóa quá trình, thích nghi với những thay đổi đột ngột (“tôi hết dầu ô liu, tôi sẽ sử dụng bơ thay thế”) và nhớ lại trình tự các nhiệm vụ. ReAct bắt chước khả năng này của con người, cho phép mô hình nhanh chóng học hỏi các nhiệm vụ mới và đưa ra quyết định vững chắc, giống như một con người trong tình huống mới hoặc không chắc chắn.

ReAct có thể giải quyết vấn đề ảo giác, một vấn đề phổ biến với Hệ thống Suy nghĩ theo chuỗi (CoT). CoT, mặc dù là một kỹ thuật hiệu quả, thiếu khả năng tương tác với thế giới bên ngoài, điều này có thể dẫn đến việc tạo ra các sự kiện không có thực và lan truyền lỗi. ReAct, tuy nhiên, bù đắp cho điều này bằng cách tương tác với các nguồn thông tin bên ngoài. Sự tương tác này cho phép hệ thống không chỉ xác thực lý do của mình mà còn cập nhật kiến thức dựa trên thông tin mới nhất từ thế giới bên ngoài.

Cơ chế hoạt động cơ bản của ReAct có thể được giải thích thông qua một ví dụ từ HotpotQA, một nhiệm vụ đòi hỏi lý luận cấp cao. Khi nhận được một câu hỏi, mô hình ReAct phân chia câu hỏi thành các phần có thể quản lý được và tạo ra một kế hoạch hành động. Mô hình tạo ra một dấu vết lý do (suy nghĩ) và xác định một hành động liên quan (hành động). Nó có thể quyết định tìm kiếm thông tin về Apple (AAPL ) Remote trên một nguồn bên ngoài như Wikipedia (hành động), và cập nhật hiểu biết của mình dựa trên thông tin thu được (quan sát). Thông qua nhiều bước suy nghĩ-hành động-quan sát, ReAct có thể thu thập thông tin để hỗ trợ lý do của mình trong khi tinh chỉnh những gì nó cần thu thập tiếp theo.

Quá trình này có thể trông như thế này:

1. Suy nghĩ: “Tôi cần tìm kiếm thông tin về Apple Remote và các thiết bị tương thích của nó.”
2. Hành động: Tìm kiếm “thiết bị tương thích Apple Remote” trên một nguồn bên ngoài.
3. Quan sát: Thu được danh sách các thiết bị tương thích với Apple Remote từ kết quả tìm kiếm.
4. Suy nghĩ: “Dựa trên kết quả tìm kiếm, một số thiết bị, ngoài Apple Remote, có thể điều khiển chương trình nó được thiết kế để tương tác.”

Kết quả là một quá trình động và dựa trên lý do, có thể phát triển dựa trên thông tin nó tương tác.

So sánh trực quan hóa bốn phương pháp đặt câu lệnh – Tiêu chuẩn, Suy nghĩ theo chuỗi, Chỉ hành động và ReAct, trong việc giải quyết HotpotQA và AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Thiết kế các tác nhân ReAct là một nhiệm vụ chuyên môn, xét đến khả năng của nó để đạt được các mục tiêu phức tạp. Ví dụ, một tác nhân trò chuyện được xây dựng trên mô hình ReAct cơ bản, tích hợp bộ nhớ trò chuyện để cung cấp các tương tác phong phú hơn. Tuy nhiên, sự phức tạp của nhiệm vụ này được đơn giản hóa bởi các công cụ như Langchain, đã trở thành tiêu chuẩn cho việc thiết kế các tác nhân này.

Đặt câu lệnh trung thành với ngữ cảnh

Bài báo ‘Đặt câu lệnh trung thành với ngữ cảnh cho Mô hình Ngôn ngữ Lớn‘ nhấn mạnh rằng mặc dù các LLM đã chứng minh sự thành công đáng kể trong các nhiệm vụ Xử lý Ngôn ngữ Tự nhiên dựa trên kiến thức, sự phụ thuộc quá mức vào kiến thức tham số có thể khiến chúng đi sai hướng trong các nhiệm vụ nhạy cảm với ngữ cảnh. Ví dụ, khi một mô hình ngôn ngữ được đào tạo trên các sự kiện đã qua, nó có thể tạo ra các câu trả lời không chính xác nếu nó bỏ qua các gợi ý ngữ cảnh.

Vấn đề này rõ ràng trong các trường hợp xung đột kiến thức, nơi ngữ cảnh chứa các sự kiện khác với kiến thức tiền đào tạo của LLM. Hãy xem xét một trường hợp mà một Mô hình Ngôn ngữ Lớn (LLM), được đào tạo trước với dữ liệu trước World Cup 2022, được cung cấp một ngữ cảnh chỉ ra rằng Pháp đã giành chiến thắng trong giải đấu. Tuy nhiên, LLM, dựa vào kiến thức tiền đào tạo của nó, tiếp tục khẳng định rằng đội chiến thắng trước, tức là đội đã giành chiến thắng trong World Cup 2018, vẫn là nhà vô địch đương nhiệm. Điều này minh họa một trường hợp điển hình của ‘xung đột kiến thức’.

Bản chất của xung đột kiến thức trong một LLM xuất phát từ việc thông tin mới được cung cấp trong ngữ cảnh mâu thuẫn với kiến thức tiền đào tạo mà mô hình đã được đào tạo. Tendency của mô hình để dựa vào kiến thức trước của nó hơn là ngữ cảnh mới được cung cấp có thể dẫn đến đầu ra không chính xác. Mặt khác, ảo giác trong các LLM là việc tạo ra các phản hồi có thể có vẻ hợp lý nhưng không dựa trên dữ liệu đào tạo hoặc ngữ cảnh được cung cấp.

Một vấn đề khác phát sinh khi ngữ cảnh cung cấp không chứa đủ thông tin để trả lời một câu hỏi một cách chính xác, một tình huống được gọi là dự đoán với từ chối. Ví dụ, nếu một LLM được hỏi về người sáng lập của Microsoft (MSFT ) dựa trên một ngữ cảnh không cung cấp thông tin này, nó lý tưởng nên từ chối đoán.

Ví dụ thêm về Xung đột Kiến thức và Quyền lực của Từ chối

Để cải thiện sự trung thành với ngữ cảnh của các LLM trong những tình huống này, các nhà nghiên cứu đã đề xuất một loạt các chiến lược đặt câu lệnh. Những chiến lược này nhằm mục đích làm cho phản hồi của LLM trở nên phù hợp với ngữ cảnh hơn, thay vì dựa vào kiến thức đã được mã hóa.

Một chiến lược như vậy là đặt câu lệnh dưới dạng câu hỏi dựa trên quan điểm, nơi ngữ cảnh được giải thích như một tuyên bố của người kể chuyện, và câu hỏi liên quan đến quan điểm của người kể chuyện. Cách tiếp cận này giúp LLM tập trung vào ngữ cảnh được trình bày thay vì dựa vào kiến thức trước của nó.

Thêm các ví dụ phản thực tế vào câu lệnh cũng đã được xác định là một cách hiệu quả để tăng sự trung thành với ngữ cảnh trong trường hợp xung đột kiến thức. Những ví dụ này trình bày các kịch bản với các sự kiện sai, hướng dẫn mô hình để chú ý nhiều hơn đến ngữ cảnh để cung cấp phản hồi chính xác.

Tinh chỉnh theo Hướng dẫn

Tinh chỉnh theo hướng dẫn là một giai đoạn học có giám sát, tận dụng việc cung cấp cho mô hình các hướng dẫn cụ thể, ví dụ như “Giải thích sự khác biệt giữa bình minh và hoàng hôn.” Hướng dẫn này được kết hợp với một câu trả lời phù hợp, chẳng hạn như “Bình minh đề cập đến khoảnh khắc mặt trời xuất hiện trên đường chân trời vào buổi sáng, trong khi hoàng hôn đánh dấu thời điểm mặt trời biến mất dưới đường chân trời vào buổi tối.” Thông qua phương pháp này, mô hình cơ bản học cách tuân theo và thực hiện các hướng dẫn.

Phương pháp này có ảnh hưởng đáng kể đến quá trình đặt câu lệnh cho các LLM, dẫn đến một sự thay đổi cơ bản trong phong cách đặt câu lệnh. Một LLM được tinh chỉnh theo hướng dẫn cho phép thực hiện ngay lập tức các nhiệm vụ không cần đào tạo, cung cấp hiệu suất nhiệm vụ liền mạch. Nếu LLM chưa được tinh chỉnh, một phương pháp học ít lần có thể được yêu cầu, bao gồm một số ví dụ trong câu lệnh của bạn để hướng dẫn mô hình đến phản hồi mong muốn.

“Tinh chỉnh Hướng dẫn với GPT-4” thảo luận về nỗ lực sử dụng GPT-4 để tạo ra dữ liệu tuân theo hướng dẫn cho việc tinh chỉnh LLM. Họ sử dụng một tập dữ liệu phong phú, bao gồm 52.000 mục tuân theo hướng dẫn duy nhất trong cả tiếng Anh và tiếng Trung.

Tập dữ liệu này đóng vai trò quan trọng trong việc tinh chỉnh mô hình LLaMA, một loạt các LLM mã nguồn mở, dẫn đến hiệu suất không cần đào tạo được cải thiện trên các nhiệm vụ mới. Các dự án đáng chú ý như Stanford Alpaca đã sử dụng hiệu quả Tinh chỉnh Tự hướng dẫn, một phương pháp hiệu quả để căn chỉnh LLM với ý định của con người, tận dụng dữ liệu được tạo ra bởi các mô hình giáo viên được tinh chỉnh theo hướng dẫn tiên tiến.

Mục tiêu chính của nghiên cứu tinh chỉnh theo hướng dẫn là để tăng cường khả năng tổng quát hóa không cần đào tạo và học ít lần của các LLM. Việc thu thập thêm dữ liệu và mở rộng mô hình có thể cung cấp những hiểu biết quý giá. Với kích thước dữ liệu GPT-4 hiện tại là 52K và kích thước mô hình LLaMA cơ bản là 7 tỷ tham số, có tiềm năng lớn để thu thập thêm dữ liệu tuân theo hướng dẫn GPT-4 và kết hợp nó với các nguồn dữ liệu khác, dẫn đến việc đào tạo các mô hình LLaMA lớn hơn để đạt được hiệu suất vượt trội.

STaR: Tự bootstrap Lý do với Lý do

Tiềm năng của các LLM đặc biệt nổi bật trong các nhiệm vụ lý luận phức tạp như toán học hoặc câu hỏi trả lời dựa trên sự thông minh chung. Tuy nhiên, quá trình kích hoạt một mô hình ngôn ngữ để tạo ra các lý do – một loạt các lý do từng bước hoặc “chuỗi suy nghĩ” – thường đi kèm với những thách thức. Nó thường đòi hỏi phải xây dựng các tập dữ liệu lý do lớn hoặc phải hy sinh độ chính xác do chỉ dựa vào suy luận ít lần.

“Self-Taught Reasoner” (STaR) cung cấp một giải pháp sáng tạo cho những thách thức này. Nó sử dụng một vòng lặp đơn giản để liên tục cải thiện khả năng lý luận của mô hình. Quá trình lặp này bắt đầu bằng việc tạo ra các lý do để trả lời nhiều câu hỏi bằng cách sử dụng một số ví dụ về lý do. Nếu các câu trả lời được tạo ra là không chính xác, mô hình sẽ thử lại để tạo ra một lý do, lần này cung cấp câu trả lời chính xác. Mô hình sau đó được tinh chỉnh trên tất cả các lý do dẫn đến câu trả lời chính xác, và quá trình này lặp lại.

Phương pháp STaR, minh họa vòng lặp tinh chỉnh và một ví dụ về tạo lý do trên tập dữ liệu CommonsenseQA (https://arxiv.org/pdf/2203.14465.pdf)

Để minh họa điều này với một ví dụ thực tế, hãy xem xét câu hỏi “Điều gì có thể được sử dụng để mang một con chó nhỏ?” với các lựa chọn câu trả lời từ một hồ bơi đến một giỏ. Mô hình STaR tạo ra một lý do, xác định rằng câu trả lời phải là thứ gì đó có thể chứa một con chó nhỏ và kết luận rằng một giỏ, được thiết kế để giữ đồ, là câu trả lời chính xác.

Phương pháp của STaR là duy nhất vì nó tận dụng khả năng lý luận trước có của mô hình ngôn ngữ. Nó sử dụng một quá trình tự tạo và tinh chỉnh lý do, tự bootstrap khả năng lý luận của mô hình. Tuy nhiên, vòng lặp của STaR có những hạn chế. Mô hình có thể không giải quyết được các vấn đề mới trong tập dữ liệu đào tạo vì nó không nhận được tín hiệu đào tạo trực tiếp cho các vấn đề nó không thể giải quyết. Để giải quyết vấn đề này, STaR giới thiệu việc lý giải hóa. Đối với mỗi vấn đề mô hình không thể trả lời chính xác, nó tạo ra một lý do mới bằng cách cung cấp mô hình với câu trả lời chính xác, cho phép mô hình lý giải ngược.

STaR, do đó, là một phương pháp tự bootstrap có thể mở rộng, cho phép các mô hình học cách tạo ra lý do của riêng chúng đồng thời học cách giải quyết các vấn đề ngày càng khó khăn. Ứng dụng của STaR đã cho thấy những kết quả đầy hứa hẹn trong các nhiệm vụ liên quan đến toán học, các vấn đề toán học bằng lời và lý luận chung. Trên CommonsenseQA, STaR đã cải thiện so với cả baseline học ít lần và baseline được tinh chỉnh để dự đoán trực tiếp câu trả lời và thực hiện tương đương với một mô hình lớn hơn 30 lần.

Câu lệnh ngữ cảnh được gắn thẻ

Khái niệm ‘Câu lệnh ngữ cảnh được gắn thẻ‘ xoay quanh việc cung cấp cho mô hình AI một lớp ngữ cảnh bổ sung bằng cách gắn thẻ một số thông tin trong đầu vào. Những thẻ này cơ bản đóng vai trò là biển chỉ dẫn cho AI, hướng dẫn nó cách giải thích ngữ cảnh một cách chính xác và tạo ra một phản hồi có liên quan và chính xác.

Hãy tưởng tượng bạn đang trò chuyện với một người bạn về một chủ đề nhất định, chẳng hạn như ‘cờ vua’. Bạn đưa ra một tuyên bố và sau đó gắn thẻ nó với một tham chiếu, chẳng hạn như ‘(nguồn: Wikipedia)’. Bây giờ, người bạn của bạn, trong trường hợp này là mô hình AI, biết chính xác thông tin của bạn đến từ đâu. Cách tiếp cận này nhằm mục đích làm cho phản hồi của AI trở nên đáng tin cậy hơn bằng cách giảm nguy cơ tạo ra các sự kiện không có thực.

Một khía cạnh độc đáo của câu lệnh ngữ cảnh được gắn thẻ là tiềm năng của nó để cải thiện ‘trí tuệ ngữ cảnh’ của các mô hình AI. Ví dụ, bài báo chứng minh điều này bằng cách sử dụng một tập hợp đa dạng các câu hỏi được trích xuất từ nhiều nguồn, như các bài viết Wikipedia tóm tắt về các chủ đề khác nhau và các phần từ một cuốn sách được xuất bản gần đây. Các câu hỏi được gắn thẻ, cung cấp cho mô hình AI một lớp ngữ cảnh bổ sung về nguồn gốc của thông tin.

Lớp ngữ cảnh bổ sung này có thể chứng minh là vô cùng có lợi khi nói đến việc tạo ra các phản hồi không chỉ chính xác mà còn phù hợp với ngữ cảnh được cung cấp, làm cho đầu ra của AI trở nên đáng tin cậy và đáng tin cậy hơn.

Kết luận: Nhìn vào Các Kỹ thuật Hứa hẹn và Hướng đi Tương lai

ChatGPT của OpenAI thể hiện tiềm năng chưa được khám phá của các Mô hình Ngôn ngữ Lớn (LLM) trong việc xử lý các nhiệm vụ phức tạp với hiệu quả đáng chú ý. Các kỹ thuật tiên tiến như học ít lần, ReAct, chuỗi suy nghĩ và STaR cho phép chúng tôi khai thác tiềm năng này trên nhiều ứng dụng. Khi chúng tôi đi sâu vào sự tinh vi của những phương pháp này, chúng tôi khám phá ra cách chúng đang định hình lại cảnh quan của AI, cung cấp các tương tác giàu hơn và an toàn hơn giữa con người và máy móc.

Mặc dù những thách thức như xung đột kiến thức, sự phụ thuộc quá mức vào kiến thức tham số và khả năng tạo ra các sự kiện không có thực, những mô hình AI này, với thiết kế câu lệnh phù hợp, đã chứng minh là những công cụ chuyển đổi. Tinh chỉnh theo hướng dẫn, đặt câu lệnh trung thành với ngữ cảnh và tích hợp với các nguồn dữ liệu bên ngoài còn làm tăng khả năng của chúng để lý luận, học hỏi và thích nghi.